[논문 리뷰] DistillHash: Unsupervised Deep Hashing by Distilling Data Pairs

Erkun Yang, Tongliang Liu외 3명|arXiv (Cornell University)|2019. 05. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 71인용 수 14

한 줄 요약

DistillHash는 국소적 데이터 구조에서 유도된 노이즈가 섞인 초기 유사도 레이블로부터 신뢰할 수 있는 유사도 신호를 갖는 확신 있는 데이터 쌍을 증류함으로써 성능을 향상시키는 비지도 딥 해싱 방법을 제안한다. 이러한 증류된 쌍에 베이지안 학습 프레임워크를 적용함으로써, 레이블이 없는 상태에서도 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 검색 정확도를 달성한다.

ABSTRACT

Due to the high storage and search efficiency, hashing has become prevalent for large-scale similarity search. Particularly, deep hashing methods have greatly improved the search performance under supervised scenarios. In contrast, unsupervised deep hashing models can hardly achieve satisfactory performance due to the lack of reliable supervisory similarity signals. To address this issue, we propose a novel deep unsupervised hashing model, dubbed DistillHash, which can learn a distilled data set consisted of data pairs, which have confidence similarity signals. Specifically, we investigate the relationship between the initial noisy similarity signals learned from local structures and the semantic similarity labels assigned by a Bayes optimal classifier. We show that under a mild assumption, some data pairs, of which labels are consistent with those assigned by the Bayes optimal classifier, can be potentially distilled. Inspired by this fact, we design a simple yet effective strategy to distill data pairs automatically and further adopt a Bayesian learning framework to learn hash functions from the distilled data set. Extensive experimental results on three widely used benchmark datasets show that the proposed DistillHash consistently accomplishes the state-of-the-art search performance.

연구 동기 및 목표

• 신뢰할 수 있는 감독 신호가 부족하여 비지도 딥 해싱의 성능이 떨어지는 문제를 해결하기 위해.
• 노이즈가 섞인 초기 유사도 레이블에서 높은 신뢰도의 의미적 유사도를 갖는 데이터 쌍을 식별하고 추출하기 위해.
• 이러한 증류된 쌍을 활용하는 자기지도 학습 프레임워크를 개발하여 효과적인 해시 코드 학습을 위해.
• 레이블이 필요 없이 기존의 비지도 해싱 방법들을 초월하는 성능을 내기 위해.

제안 방법

• 데이터 쌍에 대해 국소적 데이터 구조를 이용해 초기 노이즈가 섞인 유사도 레이블을 할당한다.
• 약한 가정 하에 이론적 분석을 적용하여 베이즈 최적 분류기와 일치하는 레이블을 갖는 데이터 쌍을 식별한다.
• 베이즈 최적 분류기와의 일관성에 기반해 자동으로 높은 신뢰도의 데이터 쌍을 증류하는 단순하면서도 효과적인 전략을 적용한다.
• 증류된 데이터셋에 대해 베이지안 학습 프레임워크를 활용해 표현과 해시 코드를 동시에 학습하는 딥 신경망을 설계한다.
• 해시 공간에서 의미적 유사도 유지에 최적화된 손실 함수에 증류된 데이터 쌍을 통합한다.
• 선택 및 필터링을 제어하기 위해 초모수 o와 p를 활용하며, 추론 실험을 통해 강인함을 확인한다.

실험 결과

연구 질문

• RQ1 국소적 데이터 구조에서 유도된 노이즈가 섞인 유사도 신호를 정제하여 높은 신뢰도의 의미적 유사도를 갖는 쌍을 식별할 수 있는가?
• RQ2 베이즈 최적 분류기와의 일관성에 기반해 데이터 쌍을 신뢰성 있게 증류할 수 있는 조건은 무엇인가?
• RQ3 증류된 데이터 쌍을 활용하는 자기지도 학습 프레임워크가 기존의 비지도 해싱 방법을 초월할 수 있는가?
• RQ4 제안된 방법의 성능가 o와 p와 같은 핵심 초모수의 변화에 얼마나 민감한가?

주요 결과

• DistillHash는 FLICKR25K, NUSWIDE, CIFAR10의 세 가지 벤치마크 데이터셋에서 모두 최신 기술 수준의 평균 평균 정확도(MAP)를 달성한다.
• 16비트 해싱을 사용한 FLICKR25K에서 DistillHash는 MAP 0.6964를 기록하며, 베이스라인 DistillHash*보다 3.11% 향상되었다.
• 32비트 해싱을 사용한 NUSWIDE에서 DistillHash는 MAP 0.6752를 기록하며, DistillHash*보다 3.95% 향상되었다.
• 128비트 해싱을 사용한 CIFAR10에서 DistillHash는 MAP 0.2895를 기록하며, DistillHash*보다 3.12% 향상되었다.
• 모든 실험에서 1,000회 미만의 학습 반복 내에 수렴함으로써 효율적인 학습을 보였다.
• 모수 민감도 분석 결과, o(2–20)와 p(32–128)의 변동에 대해 성능이 강인하며, 최적 값은 o=4와 p=48에서 도출되었다.