[논문 리뷰] Unsupervised Semantic Deep Hashing

Sheng Jin|arXiv (Cornell University)|2018. 03. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 2인용 수 3

한 줄 요약

이 논문은 레이블 없이 VGG-19 특징에서 유추된 의미 정보를 활용하여 이진 해싱 코드를 학습하는 엔드 투 엔드 비지도 딥 해싱 방법인 Unsupervised Semantic Deep Hashing(USDH)을 제안한다. 의미, 양자화, 엔트로피 최대화, 회전 불변성의 네 가지 손실 구성 요소를 강제 적용함으로써, 이미지 검색 및 미세 분류에서 최신 기술 수준의 성능을 달성하며, 이전의 비지도 방법보다 정확도에서 최대 10.7% 향상된다.

ABSTRACT

In recent years, deep hashing methods have been proved to be efficient since it employs convolutional neural network to learn features and hashing codes simultaneously. However, these methods are mostly supervised. In real-world application, it is a time-consuming and overloaded task for annotating a large number of images. In this paper, we propose a novel unsupervised deep hashing method for large-scale image retrieval. Our method, namely unsupervised semantic deep hashing ( extbf{USDH}), uses semantic information preserved in the CNN feature layer to guide the training of network. We enforce four criteria on hashing codes learning based on VGG-19 model: 1) preserving relevant information of feature space in hashing space; 2) minimizing quantization loss between binary-like codes and hashing codes; 3) improving the usage of each bit in hashing codes by using maximum information entropy, and 4) invariant to image rotation. Extensive experiments on CIFAR-10, NUSWIDE have demonstrated that extbf{USDH} outperforms several state-of-the-art unsupervised hashing methods for image retrieval. We also conduct experiments on Oxford 17 datasets for fine-grained classification to verify its efficiency for other computer vision tasks.

연구 동기 및 목표

• 감독 학습 기반 딥 해싱에서의 수동 레이블링 비용을 줄이기 위해 비지도 대안을 개발한다.
• 클래스 레이블에 의존하지 않고도 깊이 학습된 특징에서 유도된 의미적 유사성을 해싱 코드 공간에 유지한다.
• 양자화 손실, 정보 엔트로피 최대화, 회전 불변성 강제 조건을 통해 해싱 코드 품질을 향상시킨다.
• 이미지 검색을 넘어서 미세 분류 작업 등 다양한 분야에서의 효과성을 입증한다.

제안 방법

• 해싱 코드 학습을 안내하기 위해 VGG-19 네트워크의 중간 수준 특징을 의미적 서술자로 활용한다.
• 특징 서술자로부터 계산된 유사성 관계를 유지하도록 해싱 코드가 유도되도록 하는 의미 손실을 도입한다.
• 실수값 코드와 이의 이진 근사값 간의 차이를 최소화하기 위해 양자화 손실을 적용한다.
• 각 비트의 정보 엔트로피를 최대화하여 비트 사용의 균형과 효율성을 확보한다.
• 원본 이미지와 회전된 이미지의 해싱 코드 간의 거리를 최소화하여 회전 불변성을 강제한다.
• 모든 네 가지 구성 요소를 포함하는 복합 손실 함수를 사용하여 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 딥 특징에서 유도된 의미 정보를 비지도 설정에서 효과적으로 활용하여 해싱 코드 품질을 향상시킬 수 있는가?
• RQ2 회전 불변성 강제 조건이 비지도 딥 해싱 성능에 어떤 영향을 미치는가?
• RQ3 의미, 양자화, 엔트로피, 회전 불변성 손실을 병합함으로써 이전의 비지도 방법 대비 검색 정확도는 어느 정도 향상되는가?
• RQ4 레이블 없이 학습된 비지도 해싱 코드가 미세 분류 작업에 효과적으로 활용될 수 있는가?

주요 결과

• CIFAR-10에서 USDH는 64비트 코드로 평균 평균 정밀도(MAP) 65.87%를 달성하여 DeepBit보다 27.57%p 높다.
• NUSWIDE에서 USDH는 64비트 코드로 MAP 64.07%를 기록하며, 다른 비지도 기반 기준보다 뚜렷이 뛰어나다.
• 의미 손실만으로도 DeepBit 대비 성능이 7.62% 향상되었고, 양자화 손실을 추가로 적용하면 정확도가 추가로 4.07% 향상되었다.
• Oxford-17 미세 분류 플라워 데이터셋에서 USDH는 81.3%의 정확도를 달성하여 DeepBit보다 6.2% 높고, SIFT-Internal보다 10.7% 높다.
• 초기화 설정에 대해 매우 강인하며, 의미 손실 파라미터 ρ의 다양한 값에서 MAP가 0.2% 이내로 변동한다.
• USDH는 빠른 추론 속도(샘플당 0.07초)를 유지하며, DeepBit와 유사하고 전통적인 수작업 특징 추출 방법보다 훨씬 빠르다.