[논문 리뷰] CNN Based Hashing for Image Retrieval

Jinma Guo, Jianmin Li|arXiv (Cornell University)|2015. 09. 04.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 12

한 줄 요약

이 논문은 MNIST에서 최고 성능을 기록하고 CIFAR-10에서 가장 뛰어난 결과를 내는 새로운 엔드 투 엔드 CNN 기반 해싱 방법인 CNNBH를 제안한다. 이 방법은 완전히 연결된 계층의 활성화 함수의 부호를 이진화하여 이진 해시 코드를 생성하며, 이전 방법들보다 8–16% 높은 MAP 성능을 확보한다.

ABSTRACT

Along with data on the web increasing dramatically, hashing is becoming more and more popular as a method of approximate nearest neighbor search. Previous supervised hashing methods utilized similarity/dissimilarity matrix to get semantic information. But the matrix is not easy to construct for a new dataset. Rather than to reconstruct the matrix, we proposed a straightforward CNN-based hashing method, i.e. binarilizing the activations of a fully connected layer with threshold 0 and taking the binary result as hash codes. This method achieved the best performance on CIFAR-10 and was comparable with the state-of-the-art on MNIST. And our experiments on CIFAR-10 suggested that the signs of activations may carry more information than the relative values of activations between samples, and that the co-adaption between feature extractor and hash functions is important for hashing.

연구 동기 및 목표

• 기존의 복잡한 유사도 행렬 구성에 의존하는 감독 기반 해싱 방법의 한계를 해결하기 위해.
• 깊이 있는 CNN 특징의 부호만으로도 효과적인 해시 코드로 사용될 수 있는지 탐색하기 위해.
• 특징 학습과 해싱을 통합한 간단하고 엔드 투 엔드로 훈련 가능한 해싱 프레임워크를 개발하기 위해.
• 특징 추출기와 해시 함수 간의 상호 적응이 검색 성능 향상에 기여하는지 조사하기 위해.
• 깊이 있는 특징의 부호 기반 이진화가 값 기반 유사도 측정 방법과 커널 기반 해싱 방법보다 우수할 수 있는지 입증하기 위해.

제안 방법

• 표준 CNN을 이미지 분류를 위해 엔드 투 엔드로 훈련하며, 별도의 해싱 단계 없이 진행한다.
• 선택된 완전히 연결된 계층의 활성화 함수를 기준으로 0으로 이진화하여 해시 코드를 생성한다: $ h_i = \begin{cases} 1 & \text{if } a_i \geq 0 \\ 0 & \text{otherwise} \end{cases} $
• 분류 손실을 최소화하도록 모델을 훈련함으로써, 검색을 위한 특징 표현이 암묵적으로 최적화된다.
• 해시 코드를 위한 행렬 분해나 별도 최적화를 피함으로써 훈련 과정을 단순화한다.
• 최종 해시 코드는 마지막에서 두 번째 완전히 연결된 계층의 출력 부호에서 직접 유도된다.
• CIFAR-10과 MNIST에서 표준 평가 지표인 평균 평균 정확도(MAP)를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 깊이 있는 CNN 특징의 부호만으로도 효과적인 이진 해시 코드로 사용될 수 있는가?
• RQ2 분류를 위한 CNN의 엔드 투 엔드 훈련이 CNNH와 같은 이중 단계 방법보다 더 나은 해시 코드를 도출하는가?
• RQ3 특징 학습과 해싱 간의 상호 적응이 성능 향상에 필수적인가?
• RQ4 부호 기반 이진화는 유클리드 거리와 같은 값 기반 유사도 측정 방법보다 어떻게 비교되는가?
• RQ5 특징 부호의 단순 이진화가 KSH와 같은 더 복잡한 커널 기반 해싱 방법보다 뛰어난가?

주요 결과

• CNNBH는 CIFAR-10에서 최고 성능을 기록했으며, 이전 최고 성능 기준으로 16% 향상된 평균 평균 정확도(MAP)를 확보했다.
• MNIST에서는 모든 기준 방법(예: KSH 및 유클리드 거리 순서 기반 방법 포함)을 초월하는 최고 성능을 기록했다.
• 활성화 함수의 부호가 샘플 간 상대적인 크기보다 더 구분력 있는 정보를 담고 있음을 발견했다.
• L2_fc+ (반사된 특징)의 성능이 L2_fc를 略로 초월하여, 부호 정보가 내부 부호 내 크기 차이보다 더 유용하다는 것을 시사했다.
• CNNBH와 동일한 계층에서 특징을 취한 KSH는 CNNBH보다 성능이 열 劣하므로, 특징과 해싱의 엔드 투 엔드 공동 훈련이 더 효과적임을 시사한다.
• Gist와 CNN 특징을 모두 사용한 LSH 기반 해싱보다 성능이 뛰어나, CNN 특징이 수작업 특징보다 해싱에 더 효과적임을 보여주었다.