[논문 리뷰] Discrete Hashing with Deep Neural Network

Thanh-Toan Do, Anh-Zung Doan외 1명|arXiv (Cornell University)|2015. 08. 28.

Advanced Image and Video Retrieval Techniques참고 문헌 32인용 수 8

한 줄 요약

이 논문은 이산적 해싱을 위한 새로운 지도 학습 해싱 방법인 딥 네트워크를 활용한 이산 해싱(SDH-DNN)을 제안한다. 이 방법은 이진 제약 조건을 완화하지 않고 직접 이진 코드를 최적화하며, 보조 변수를 도입하여 가중치와 이진 코드의 최적화를 번갈아 수행한다. 이 방법은 CIFAR-10과 MNIST에서 최신 기술을 초월하여 8비트 코드에서 최대 +17%의 mAP 향상을 달성한다.

ABSTRACT

This paper addresses the problem of learning binary hash codes for large scale image search by proposing a novel hashing method based on deep neural network. The advantage of our deep model over previous deep model used in hashing is that our model contains necessary criteria for producing good codes such as similarity preserving, balance and independence. Another advantage of our method is that instead of relaxing the binary constraint of codes during the learning process as most previous works, in this paper, by introducing the auxiliary variable, we reformulate the optimization into two sub-optimization steps allowing us to efficiently solve binary constraints without any relaxation. The proposed method is also extended to the supervised hashing by leveraging the label information such that the learned binary codes preserve the pairwise label of inputs. The experimental results on three benchmark datasets show the proposed methods outperform state-of-the-art hashing methods.

연구 동기 및 목표

• 대규모 이미지 검색을 위한 압축되고 고품질의 이진 해싱 코드를 학습하는 데 도전하는 것.
• 기존의 딥 해싱 방법들이 최적화 과정에서 이진 제약 조건을 완화함으로써 최적의 해를 도출하지 못하는 한계를 극복하는 것.
• 유사성 유지, 균형, 독립성과 같은 양호한 해싱 코드의 핵심 기준을 딥 네트워크 프레임워크 내에 통합하는 것.
• 이진 제약 조건을 완화하지 않고 직접 처리하는 효율적인 최적화 전략을 개발하여 코드 품질과 검색 성능을 향상시키는 것.

제안 방법

• 보조 변수를 도입하여 이진 최적화 문제를 두 개의 번갈아 최적화 단계로 재구성한다: 네트워크 가중치 최적화와 이진 코드 최적화를 별도로 수행한다.
• 딥 네트워크 가중치 최적화에 L-BFGS를 사용하고, 각 비트의 이진 코드를 개별적으로 업데이트하기 위해 순환 좌표 강하법을 적용한다.
• 유사성 유지, 균형(1과 0의 수가 동일함), 독립성(서로 상관이 없는 비트)을 강제하는 공동 목적 함수를 활용한다.
• 지도 학습 설정에서 레이블 정보를 활용하여 클래스 레이블 기반으로 쌍별 유사성 행렬 S를 구성하여 코드 학습을 이끌어낸다.
• 연속 출력을 이진화하는 대신, 훈련 중에 직접 이진 코드를 최적화하는 비완화 최적화 전략을 적용한다.
• 입력 데이터의 구조를 기반으로 자체 생성한 유사성 행렬을 사용하여 비지도 해싱(UDH-DNN)으로 확장한다.

실험 결과

연구 질문

• RQ1 이진 제약 조건을 완화하지 않고도 딥 네트워크가 효과적으로 이산 이진 해싱 코드를 생성할 수 있는가?
• RQ2 목적 함수에 유사성 유지, 균형, 독립성을 통합할 경우, 기존 방법에 비해 검색 성능이 향상되는가?
• RQ3 제안된 번갈아 최적화 전략이 해싱 문제의 NP-완전 문제를 효율적으로 해결할 수 있는가?
• RQ4 제안된 방법은 벤치마크 데이터셋에서 최신 기술 수준의 지도 및 비지도 해싱 기법과 비교해 성능가 어떻게 되는가?

주요 결과

• CIFAR-10에서 SDH-DNN는 8비트 코드 길이에서 기존 최신 기술인 SDH 대비 mAP가 +17% 향상되었다.
• MNIST에서는 8비트 코드에서 SDH 대비 mAP가 +13.9% 향상되었으며, 모든 코드 길이에서 일관된 성능 향상을 보였다.
• 낮은 코드 길이(8–16비트)에서 SDH-DNN는 KSH와 ITQ-CCA보다 mAP 및 해밍 거리 3과 4에서 정밀도 모두 뚜렷한 우수성을 보였다.
• 긴 코드 길이(32–64비트)에서는 SDH와 유사한 성능을 달성하여 강력한 확장성을 입증했다.
• 비완화된 최적화 전략은 이진 제약 조건을 직접 다루어 연속 출력을 임계값 처리하는 것보다 훨씬 고급 품질의 코드를 생성했다.
• 목적 함수에 유사성 유지, 균형, 독립성을 통합함으로써 더 강력하고 구분력 있는 해싱 코드를 도출할 수 있었다.