[논문 리뷰] Deep Sketch Hashing: Fast Free-hand Sketch-Based Image Retrieval

Li Liu, Fumin Shen외 3명|arXiv (Cornell University)|2017. 03. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 55인용 수 24

한 줄 요약

이 논문은 자유형 스케치 기반 이미지 검색(SBIR)을 가속화하기 위해 스케치와 자연 이미지에 대한 압축된 이진 코드를 학습하는 새로운 엔드 투 엔드 딥 해싱 프레임워크인 딥 스케치 해싱(DSH)을 제안한다. 보조 스케치 토큰을 도입한 반준수형(CNN) 아키텍처를 통해 기하학적 왜곡을 감소시킴으로써, TU-Berlin Extension 및 Sketchy와 같은 대규모 데이터셋에서 최신 기술 수준의 검색 정확도를 달성하면서도 훨씬 빠른 속도와 낮은 메모리 사용량을 확보한다.

ABSTRACT

Free-hand sketch-based image retrieval (SBIR) is a specific cross-view retrieval task, in which queries are abstract and ambiguous sketches while the retrieval database is formed with natural images. Work in this area mainly focuses on extracting representative and shared features for sketches and natural images. However, these can neither cope well with the geometric distortion between sketches and images nor be feasible for large-scale SBIR due to the heavy continuous-valued distance computation. In this paper, we speed up SBIR by introducing a novel binary coding method, named extbf{Deep Sketch Hashing} (DSH), where a semi-heterogeneous deep architecture is proposed and incorporated into an end-to-end binary coding framework. Specifically, three convolutional neural networks are utilized to encode free-hand sketches, natural images and, especially, the auxiliary sketch-tokens which are adopted as bridges to mitigate the sketch-image geometric distortion. The learned DSH codes can effectively capture the cross-view similarities as well as the intrinsic semantic correlations between different categories. To the best of our knowledge, DSH is the first hashing work specifically designed for category-level SBIR with an end-to-end deep architecture. The proposed DSH is comprehensively evaluated on two large-scale datasets of TU-Berlin Extension and Sketchy, and the experiments consistently show DSH's superior SBIR accuracies over several state-of-the-art methods, while achieving significantly reduced retrieval time and memory footprint.

연구 동기 및 목표

• 자연 이미지와 자유형 스케치 간의 기하학적 왜곡 문제를 해결하기 위해 범주 수준의 스케치 기반 이미지 검색(SBIR)에서 발생하는 과제를 해결하는 것.
• 연속된 값 거리 계산을 이진 해싱으로 대체하여 대규모 SBIR의 검색 효율을 향상시키는 것.
• 더 나은 크로스 뷰 유사도 학습을 위해 엔드 투 엔드 프레임워크에서 딥 해시 함수와 이진 코드를 공동 최적화하는 것.
• 보조 스케치 토큰을 중간 표현으로 사용하여 스케치와 이미지 간의 도메인 갭을 완화하는 것.
• 모바일 및 웨어러블 장치에 적합한 낮은 계산 및 메모리 오버헤드로 높은 검색 정확도를 달성하는 것.

제안 방법

• 스케치, 자연 이미지, 그리고 모odal 갭을 메우기 위한 보조 스케치 토큰을 위한 중간 네트워크를 포함한 세 개의 별도 CNN으로 구성된 반준수형 딥 아키텍처.
• 스케치 토큰 네트워크는 스케치에서 파생된 에지 유사 표현을 처리하여 구조적 일관성을 모델링하고 기하학적 왜곡을 감소시킨다.
• 교차 뷰 쌍별 유사도 손실과 의미적 인수 분해 손실을 동시에 최소화하는 교대 최적화 과정을 통해 이진 코드를 학습한다.
• 딥 특징 학습과 이진 코드화를 엔드 투 엔드 방식으로 통합하여 해시 함수와 코드의 공동 최적화를 가능하게 한다.
• 스케치-이미지 쌍 간의 의미적 유사성을 유지하기 위해 대비 손실을 사용하고, 고유한 범주 상관관계를 포착하기 위해 인수 분해 손실을 사용한다.
• 엔드 투 엔드로 훈련되어 상호 모odal 간 및 내부 범주 간 관계를 유지하는 128비트 압축 이진 코드를 생성한다.

실험 결과

연구 질문

• RQ1 딥 해싱 프레임워크가 SBIR에서 자유형 스케치와 자연 이미지 간의 기하학적 왜곡을 효과적으로 줄일 수 있는가?
• RQ2 이진 코드와 딥 해시 함수의 엔드 투 엔드 학습이 전통적인 연속 특징 방법에 비해 검색 정확도를 향상시키는가?
• RQ3 보조 스케치 토큰이 스케치 기반 검색에서 크로스 뷰 특징 정렬과 의미적 일관성을 크게 향상시킬 수 있는가?
• RQ4 DSH는 최신 기술 수준의 SBIR 및 크로스 모달 해싱 방법에 비해 정확도, 속도, 메모리 효율성 면에서 어떻게 비교되는가?
• RQ5 쌍별 유사도 손실과 의미적 인수 분해 손실의 공동 최적화가 검색 성능 향상에 얼마나 기여하는가?

주요 결과

• DSH는 128비트 코드를 사용하여 TU-Berlin Extension 데이터셋에서 평균 평균 정밀도(MAP) 0.570, Sketchy 데이터셋에서 0.783을 달성하여 비교된 모든 최신 기술 수준의 방법들을 능가한다.
• 스케치 토큰을 포함한 모델는 스케치 토큰이 없는 모델에 비해 Sketchy에서 MAP 저하를 0.101 감소시키고, TU-Berlin Extension에서는 0.073 감소시키며, 이는 기하학적 왜곡 완화에 효과적임을 입증한다.
• 기존 연속된 값 특징 기반의 SBIR 방법에 비해 DSH는 훨씬 빠른 검색 속도와 낮은 메모리 프로필을 확보하여 모바일 및 임베디드 시스템에 적합하다.
• 제거 실험 결과, 교차 뷰 쌍별 손실과 의미적 인수 분해 손실 둘 다 필수적임을 확인하였으며, 둘 중 하나를 제거하면 MAP 성능이 저하됨을 보여준다.
• t-SNE 시각화 결과 DSH 코드는 같은 범주에 속한 스케치와 이미지를 함께 군집화하며, 의미적으로 유사한 범주는 임베딩 공간에서 가까이 위치한다.
• 정밀도-재현율 곡선과 HD2 곡선은 다양한 코드 길이에서 DSH가 경쟁 방법들보다 항상 더 높은 곡선 아래 면적(AUC)을 확보함을 보여준다.