[논문 리뷰] Feature Learning based Deep Supervised Hashing with Pairwise Labels

Wu-Jun Li, Sheng Wang외 1명|arXiv (Cornell University)|2015. 11. 12.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 117

한 줄 요약

이 논문은 쌍별 레이블을 사용하여 특징 학습과 해시 코드 학습을 동시에 수행하는 엔드 투 엔드 딥 러닝 프레임워크인 딥 페어웨이-서프바이즈드 해싱(DPSH)을 제안한다. 이는 기존의 삼중군 또는 점별 레이블에 의존하는 방법들 사이의 격차를 메우는 데 기여한다. DPSH는 특징 추출과 해싱 모듈 간의 피드백을 가능하게 하여, 랭킹 레이블을 사용하는 딥 메서드와 비디오 기반 기준선을 모두 능가하는 이미지 검색 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recent years have witnessed wide application of hashing for large-scale image retrieval. However, most existing hashing methods are based on hand-crafted features which might not be optimally compatible with the hashing procedure. Recently, deep hashing methods have been proposed to perform simultaneous feature learning and hash-code learning with deep neural networks, which have shown better performance than traditional hashing methods with hand-crafted features. Most of these deep hashing methods are supervised whose supervised information is given with triplet labels. For another common application scenario with pairwise labels, there have not existed methods for simultaneous feature learning and hash-code learning. In this paper, we propose a novel deep hashing method, called deep pairwise-supervised hashing(DPSH), to perform simultaneous feature learning and hash-code learning for applications with pairwise labels. Experiments on real datasets show that our DPSH method can outperform other methods to achieve the state-of-the-art performance in image retrieval applications.

연구 동기 및 목표

• 쌍별 레이블 데이터로부터 특징과 해시 코드를 동시에 학습하는 딥 해싱 방법의 부족을 해결하기 위해.
• 학습된 특징에서 해시 코드 최적화로의 피드백을 허용하지 않는 두 단계 방법(CNNH 등)의 한계를 극복하기 위해.
• 특징 학습, 해시 코드 학습, 쌍별 감독을 통합하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 딥 특징 표현과 이진 해시 코드 간의 상호 최적화를 통해 검색 정확도를 향상시키기 위해.
• 실제 이미지 검색 데이터셋에서 쌍별 레이블 설정 조건 하에서 DPSH의 효과성을 입증하기 위해.

제안 방법

• DPSH는 특징 학습과 해시 코드 생성을 동시에 최적화하는 엔드 투 엔드 딥 신경망 아키텍처를 사용한다.
• 이 방법은 이미지 쌍을 처리하고 쌍별 레이블에 기반한 유사성 유지 해시 코드를 학습하기 위해 시아미즈 유사한 쌍둥이 네트워크 구조를 사용한다.
• 이산 해시 코드를 통해 역전파가 가능하도록 가변 가능한 해싱 레이어를 도입하여 엔드 투 엔드 학습을 가능하게 한다.
• 손실 함수는 양성 쌍 간의 유사성 유지와 부정 쌍 간의 이질성 강화를 위해 쌍별 대비 손실을 조합한다.
• 경사 하강법을 사용한 확률적 경사 하강법과 역전파를 통해 네트워크를 엔드 투 엔드로 학습하며, 특징과 해시 코드 학습이 상호로 개선되도록 한다.
• 주요 평가 지표로 평균 평균 정밀도(MAP)를 사용하여 CIFAR-10과 NUS-WIDE 데이터셋에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 프레임워크는 쌍별 레이블 데이터로부터 특징과 해시 코드를 효과적으로 학습할 수 있는가?
• RQ2 쌍별 감독 하에 특징과 해시 코드를 공동으로 학습하는 방식은 두 단계 또는 비딥 방법과 비교해 어떻게 다른가?
• RQ3 DPSH는 삼중군 또는 랭킹 레이블을 사용하는 기존의 딥 해싱 방법보다 쌍별 검색 설정에서 성능이 뛰어나다고 할 수 있는가?
• RQ4 DPSH는 마진 파rameter η의 초모수 설정에 얼마나 민감한가?
• RQ5 DPSH는 오직 쌍별 레이블만을 사용하여 표준 이미지 검색 벤치마크에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• DPSH는 CIFAR-10과 NUS-WIDE 데이터셋에서 모두 최신 기술 수준 성능을 달성하였으며, 48비트 코드 기준으로 각각 MAP 점수 0.807과 0.741을 기록하였다.
• NUS-WIDE에서 DPSH는 48비트 코드 기준으로 FastH+CNN(0.825 MAP), SDH+CNN(0.824 MAP), KSH+CNN(0.799 MAP)을 모두 능가하였다.
• 이전의 두 단계 방법인 CNNH보다도 뚜렷이 뛰어난 성능을 보이며, 엔드 투 엔드 공동 학습의 이점을 입증하였다.
• 16~48비트의 다양한 비트 길이에서 높은 성능 유지를 보이며, 강건성과 확장성(스케일러빌리티)을 입증하였다.
• η의 범위 [10, 100] 내에서 초모수에 대해 민감하지 않아 안정적인 학습 동작을 보였다.
• 삼중군 레이블 기반의 딥 메서드(DSRH, DSCH, DRSCH)와의 비교에서, DPSH는 쌍별 레이블 설정에서 학습 및 평가된 상태에서도 더 높은 MAP 점수를 기록하였다.