[논문 리뷰] A Deep Hashing Learning Network

Guoqiang Zhong, Yang Pan외 2명|arXiv (Cornell University)|2015. 07. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 감독형 딥 컨volution 신경망을 사용하여 특징 표현과 이진 해시 코드 생성을 동시에 최적화하는 딥 해싱 학습 네트워크를 제안한다. 손실 함수 이전에 컴act한 시그모이드 계층을 통합함으로써, 모델은 엔드 투 엔드로 분류 가능한 특징과 최적의 해시 코드를 학습하며, 32비트에서 각각 MNIST와 CIFAR-10에서 mAP 점수 0.995와 0.736을 기록하여 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Hashing-based methods seek compact and efficient binary codes that preserve the neighborhood structure in the original data space. For most existing hashing methods, an image is first encoded as a vector of hand-crafted visual feature, followed by a hash projection and quantization step to get the compact binary vector. Most of the hand-crafted features just encode the low-level information of the input, the feature may not preserve the semantic similarities of images pairs. Meanwhile, the hashing function learning process is independent with the feature representation, so the feature may not be optimal for the hashing projection. In this paper, we propose a supervised hashing method based on a well designed deep convolutional neural network, which tries to learn hashing code and compact representations of data simultaneously. The proposed model learn the binary codes by adding a compact sigmoid layer before the loss layer. Experiments on several image data sets show that the proposed model outperforms other state-of-the-art methods.

연구 동기 및 목표

• 이미지 검색에서 의미적 유사성을 유지하는 데에 한계가 있는 수작업으로 만든 특징의 문제를 해결하기 위해.
• 기존 방법에서 특징과 해시 함수를 별도로 학습하는 방식이 최적의 표현을 이끌지 못하는 문제를 해결하기 위해.
• 특징 학습과 해시 코드 생성을 동시에 최적화하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 대규모 유사성 검색에 적합한 낮은 계산 비용과 압축된 이진 코드를 통해 높은 검색 정확도를 달성하기 위해.

제안 방법

• GIST나 BoF와 같은 수작업 특징에 의존하지 않고, 딥 컨volution 신경망을 사용하여 계층적인 이미지 표현을 자동으로 학습한다.
• 최종 특징에서 직접 압축된 이진 해시 코드를 생성하기 위해 손실 계층 이전에 시그모이드 활성화 계층을 삽입한다.
• 감독형 레이블을 사용하여 엔드 투 엔드 방식으로 학습함으로써, 해시 코드 학습이 특징 학습에 피드백을 줄 수 있도록 한다.
• 원래 거리와 해밍 거리 간의 차이를 최소화함으로써 의미적 유사성을 유지하도록 손실 함수를 설계한다.
• ReLU 활성화를 사용하는 3개의 컨볼루션 계층, 그 다음으로 맥스 풀링, 그리고 이진 코드 출력을 위한 최종 시그모이드 계층을 사용하는 네트워크 아키텍처를 채택한다.
• 입력 이미지를 외부 특징 추출 없이 픽셀 값 그대로 제공하여 Caffe 프레임워크를 사용해 학습한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝이 특징 표현과 해시 코드 생성을 동시에 최적화하여 이미지 검색 성능을 향상시킬 수 있는가?
• RQ2 CNN에서 학습한 특징으로 수작업 특징을 대체할 경우, 해시 코드 내 의미적 보존이 향상되는가?
• RQ3 평균 평균 정확도와 재현율 측면에서 제안된 방법은 최신 기술 해싱 방법과 비교해 어떻게 성능을 내는가?
• RQ4 단순한 CNN 아키텍처에 이진 출력을 위한 시그모이드 계층을 사용하는 것이 복잡한 이중 단계 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ5 학습 중에 이미지 레이블을 사용할 경우, 학습된 해시 코드와 특징 표현의 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 32비트에서 MNIST에서 평균 평균 정확도(mAP) 0.995를 기록하여, 이어지는 최고 성능 방법(CNNH)보다 0.2% 높게 기록한다.
• CIFAR-10에서는 32비트에서 mAP 0.736을 기록하며, 최신 기술 방법 대비 18%에서 27% 향상된 성능을 보였다.
• PCA-ITQ나 LSH와 같은 비지도 학습 방법보다 큰 격차로 승리하였으며, 48비트에서 CIFAR-10에서 mAP 점수로 30% 이상의 향상을 기록했다.
• 단순한 CNN 아키텍처에서도 높은 성능을 유지함으로써, 더 깊거나 더 복잡한 모델을 사용할 경우 성능 향상이 더욱 가능할 것임을 시사한다.
• 정밀도-재현율 곡선과 정밀도 대 상위-k 결과는 두 데이터셋에서 모든 평가 지표에서 일관된 우수성을 확인한다.
• 엔드 투 엔드 학습 체계는 특징 학습과 해싱 간 효과적인 피드백을 가능하게 하여, 별도로 학습하는 방식보다 더 나은 의미적 보존을 이끌어냈다.