[논문 리뷰] Deep Hashing: A Joint Approach for Image Signature Learning

Yadong Mu, Zhu Liu|arXiv (Cornell University)|2016. 08. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 27인용 수 6

한 줄 요약

이 논문은 깊이 있는 특징 추출과 비선형 감독 하에 있는 해싱을 통합된 신경망을 통해 동시에 최적화하는 통합 학습 프레임워크인 Deep Hashing를 제안한다. 미분 가능한 지수형 해싱 손실과 이중 단계 감독 사전 훈련 전략을 도입함으로써, 엔드 투 엔드 기반의 기울기 기반 최적화를 가능하게 하여, 기존 방법들에 비해 상당한 격차를 두고 최신 기술 수준의 성능을 달성한다. MNIST에서는 12비트로 0.99의 해밍 순위 정확도를 기록하였고, CIFAR10에서는 0.74를 기록하였다.

ABSTRACT

Similarity-based image hashing represents crucial technique for visual data storage reduction and expedited image search. Conventional hashing schemes typically feed hand-crafted features into hash functions, which separates the procedures of feature extraction and hash function learning. In this paper, we propose a novel algorithm that concurrently performs feature engineering and non-linear supervised hashing function learning. Our technical contributions in this paper are two-folds: 1) deep network optimization is often achieved by gradient propagation, which critically requires a smooth objective function. The discrete nature of hash codes makes them not amenable for gradient-based optimization. To address this issue, we propose an exponentiated hashing loss function and its bilinear smooth approximation. Effective gradient calculation and propagation are thereby enabled; 2) pre-training is an important trick in supervised deep learning. The impact of pre-training on the hash code quality has never been discussed in current deep hashing literature. We propose a pre-training scheme inspired by recent advance in deep network based image classification, and experimentally demonstrate its effectiveness. Comprehensive quantitative evaluations are conducted on several widely-used image benchmarks. On all benchmarks, our proposed deep hashing algorithm outperforms all state-of-the-art competitors by significant margins. In particular, our algorithm achieves a near-perfect 0.99 in terms of Hamming ranking accuracy with only 12 bits on MNIST, and a new record of 0.74 on the CIFAR10 dataset. In comparison, the best accuracies obtained on CIFAR10 by existing hashing algorithms without or with deep networks are known to be 0.36 and 0.58 respectively.

연구 동기 및 목표

• 기존의 해싱 방법들이 특징 추출과 해시 함수 학습을 별개의 단계로 간주하는 데서 비롯되는 한계를 해결하기 위해.
• 이산적인 해시 코드의 비가역성으로 인해 깊이 있는 신경망의 엔드 투 엔드 훈련이 어려운 문제를 극복하여, 해싱을 위한 깊이 있는 신경망의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 제한된 감독 정보 하에 대규모 데이터셋에서 해시 코드의 품질을 향상시키기 위해, 특히 부족한 샘플링 조건에서의 성능 향상을 위해.
• 사전 훈련이 깊이 있는 해싱 성능에 미치는 영향을 조사하기 위해, 이는 이전 문헌에서 다루지 않은 갭이다.

제안 방법

• 기울기 역전파를 가능하게 하기 위해 이중선형 부드러운 함수를 통해 근사화된, 미분 가능한 지수형 해싱 손실 함수를 제안한다.
• 이미지넷 사전 훈련에 영감을 얻은 이중 단계 감독 사전 훈련 전략을 도입하여, 공동 최적화 이전에 레이블이 있는 데이터로부터의 지식을 바탕으로 네트워크 가중치를 초기화한다.
• 공유된 레이어와 최종 해싱 레이어를 갖춘 깊이 있는 신경망 아키텍처를 사용하며, 모든 파라미터를 확률적 경사 하강법을 통해 공동으로 최적화한다.
• 엔드 투 엔드 최적화 중 수렴 안정성을 높이기 위해 미니배치 훈련과 학습률 감소 전략을 적용한다.
• 이론적 해시 코드의 이산성을 유지하면서도 부드러운 기울기를 유지하기 위해 지수 손실의 이중선형 근사를 사용한다.
• 비교 평가를 위해 수작업으로 만든 특징(예: GIST, DenseSIFT)과 학습된 CNN 특징을 모두 활용한다.

실험 결과

연구 질문

• RQ1 특징 추출과 해시 함수 학습을 별도의 단계로 수행하는 것과 비교해, 깊이 있는 특징과 해시 함수를 동시에 학습하는 것이 해싱 성능 향상에 기여하는가?
• RQ2 이산적인 해시 코드의 특성을 깊이 있는 신경망의 기울기 기반 최적화와 어떻게 통합할 수 있는가?
• RQ3 감독 기반 사전 훈련이 깊이 있는 해싱에서 학습된 해시 코드의 품질에 어떤 영향을 미치는가?
• RQ4 수작업 특징과 학습된 특징을 사용한 경우, 깊이 있는 해싱의 성능는 최신 기술 수준의 방법들과 비교해 어떻게 되는가?

주요 결과

• 제안된 Deep Hashing 방법은 12비트로 MNIST에서 0.99의 해밍 순위 정확도를 기록하여 기존 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• CIFAR10 데이터셋에서는 0.74의 새로운 최신 기술 수준 정확도를 기록하여, 이전 최고 성능인 0.58을 뛰어넘었다.
• 사전 훈련 없이 무작위 초기화된 방법조차도 사전 훈련 기반 베이스라인을 능가하는 것으로 나타나, 별도의 사전 훈련보다 공동 최적화의 이점이 있음을 시사한다.
• 감독 기반 사전 훈련 후 피니어 투닝 전략은 모든 데이터셋에서 가장 강력한 성능을 보였으며, 특히 SUN397와 같은 도전적인 고카테고리 데이터셋에서 두드러졌다.
• 수작업 특징과 CNN 특징 간의 성능 격차는 뚜렷했다. CIFAR10과 SUN397 양쪽 모두에서 CNN 특징의 mAP 점수는 수작업 특징보다 2~3배 높았다.
• 특징 학습과 해싱의 공동 최적화가 별도로 특징과 해시 코드를 학습하는 두 단계 접근법보다 열등한 결과를 낳지 않고, 훨씬 우수한 성능을 내는 것으로 나타났다.