[논문 리뷰] Deep Supervised Discrete Hashing

Qi Li, Zhenan Sun외 2명|arXiv (Cornell University)|2017. 05. 31.

Advanced Image and Video Retrieval Techniques참고 문헌 25인용 수 163

한 줄 요약

쌍별 의미 라벨과 분류 정보를 모두 활용해 단일 스트림에서 이진 코드를 직접 학습하고, 교대 최소화를 통해 유사도를 보존하면서 분류에 이상적인 깊은 해싱 방법이다.

ABSTRACT

With the rapid growth of image and video data on the web, hashing has been extensively studied for image or video search in recent years. Benefit from recent advances in deep learning, deep hashing methods have achieved promising results for image retrieval. However, there are some limitations of previous deep hashing methods (e.g., the semantic information is not fully exploited). In this paper, we develop a deep supervised discrete hashing algorithm based on the assumption that the learned binary codes should be ideal for classification. Both the pairwise label information and the classification information are used to learn the hash codes within one stream framework. We constrain the outputs of the last layer to be binary codes directly, which is rarely investigated in deep hashing algorithm. Because of the discrete nature of hash codes, an alternating minimization method is used to optimize the objective function. Experimental results have shown that our method outperforms current state-of-the-art methods on benchmark datasets.

연구 동기 및 목표

• 의미론적 쌍별 및 레이블 정보를 활용하여 딥 프레임워크 내에서 이진 해시 코드를 직접 학습하도록 동기를 부여한다.
• 분류를 통합하여 코드 품질을 향상시키는 원 스트림 CNN 기반 해싱 모델을 개발한다.
• 최적화 과정에서 해시 코드의 이산적 특성을 유지하여 양자화 오차를 줄인다.
• CIFAR-10 및 NUS-WIDE 데이터셋에서 최첨단 검색 성능을 보여준다.

제안 방법

• hash 함수와 표현 학습을 위해 CNN-F를 기본 아키텍처로 사용한다.
• 코드와 레이블을 연결하는 분류기 기반 항과 함께 유사성의 쌍별 가능도를 결합한 손실 함수를 형식화한다.
• 마지막 층의 출력을 이진 코드로 제약하고 이산 최적화를 가능하게 하는 보조 변수를 도입한다.
• 마지막 층 출력, 분류기 가중치, 이진 코드를 이산 순환 좌표 감소(discrete cyclic coordinate descent)를 통해 업데이트하는 교대 최소화를 통해 최적화한다.
• 유사성 보존과 코드의 분류 적합성을 모두 강제하는 공동 목표를 포함한다.

실험 결과

연구 질문

• RQ1 단일 스트림 CNN 프레임워크에서 학습된 이진 해시 코드가 시맨틱 유사성을 동시에 보존하고 분류에 최적일 수 있는가?
• RQ2 학습 중 해시 코드의 이산성을 강제하는 것이 연속 완화와 비교하여 검색 성능을 향상시키는가?
• RQ3 레이블 정보를 해싱에 활용하는 데 있어 하나의 통합 원 스트림 접근법이 이중 스트림 방법과 어떻게 비교되는가?
• RQ4 표준 이미지 검색 벤치마크에서 표현, 해시, 선형 분류기를 함께 학습하는 것이 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 CIFAR-10 및 NUS-WIDE에서 다중 비트 길이에 걸쳐 최첨단 딥 해싱 방법을 지속적으로 능가한다.
• 하나의 스트림 내에서 쌍별 유사도와 분류 정보를 모두 활용하면 A/B 변형 및 이중 스트림 방법에 비해 상당한 개선을 얻는다.
• 마지막 층을 이진 코드로 직접 제약하고 이산 최적화를 통해 양자화 오차를 감소시키며 검색 정확도를 향상시킨다.
• 다양한 실험 설정에서 더 높은 MAP 점수를 달성하여 서로 다른 학습/테스트 분할에 대한 견고함을 나타낸다.