[논문 리뷰] Unsupervised Hashing with Contrastive Information Bottleneck

Zexuan Qiu, Qinliang Su외 3명|arXiv (Cornell University)|2021. 05. 13.

Advanced Image and Video Retrieval Techniques참고 문헌 31인용 수 7

한 줄 요약

이 논문은 대상이 아닌 배경 특징에 과적합되는 복원 기반 비지도 해싱 방법의 한계를 해결하기 위해, 종단간 훈련을 위한 확률적 베르누이 표현 레이어를 도입하여 대비 학습을 이진 코드 학습에 적응시키는 새로운 비지도 해싱 방법 CIBHash를 제안한다. 정보 볼록 원리의 프레임워크 하에 이 방법을 정의함으로써 의미적 표현 학습을 향상시키며, 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 이전 방법 대비 최대 7.8% 향상된 성과를 기록한다.

ABSTRACT

Many unsupervised hashing methods are implicitly established on the idea of reconstructing the input data, which basically encourages the hashing codes to retain as much information of original data as possible. However, this requirement may force the models spending lots of their effort on reconstructing the unuseful background information, while ignoring to preserve the discriminative semantic information that is more important for the hashing task. To tackle this problem, inspired by the recent success of contrastive learning in learning continuous representations, we propose to adapt this framework to learn binary hashing codes. Specifically, we first propose to modify the objective function to meet the specific requirement of hashing and then introduce a probabilistic binary representation layer into the model to facilitate end-to-end training of the entire model. We further prove the strong connection between the proposed contrastive-learning-based hashing method and the mutual information, and show that the proposed model can be considered under the broader framework of the information bottleneck (IB). Under this perspective, a more general hashing model is naturally obtained. Extensive experimental results on three benchmark image datasets demonstrate that the proposed hashing method significantly outperforms existing baselines.

연구 동기 및 목표

• 복원 기반 비지도 해싱 방법이 비차별적인 배경 특징에 과적합되는 한계를 해결하기 위해.
• 연속적 표현 학습에서 성공한 대비 학습을 이산적인 이진 해싱 작업에 적응시키기 위해.
• 차별 가능한 이진 표현 레이어를 도입함으로써 이진 해싱 모델의 종단간 훈련을 가능하게 하기 위해.
• 대비 학습과 정보 볼록 원리 간의 이론적 연결 고리를 해싱 맥락에서 설정하기 위해.
• 입력 데이터를 복원하는 것보다는 차별적인 의미 정보를 유지하는 데 중점을 두어 검색 성능을 향상시키기 위해.

제안 방법

• 해싱 코드의 이산적 성격에 맞게 대비 학습 목표를 수정하여, 목적 함수 불일치를 줄이기 위해 프로젝션 헤드를 제거한다.
• 이진 코드를 확률적 변수로 모델링하기 위해 확률적 베르누이 레이어를 도입하여, 기울기 추정기를 통해 이산 출력을 통한 역전파를 가능하게 한다.
• 정보 볼록 프레임워크 하에서 대비 학습 목표를 재구성하여, 코드와 입력 데이터 간의 상호정보량을 최소화하는 동시에 대비 손실을 함께 최소화한다.
• 대표성 품질과 압축 간의 트레이드오프를 균형 잡기 위해 라그랑주 릴랙세이션을 사용하며, 이 트레이드오프를 제어하는 하이퍼파라미터 β를 사용한다.
• 데이터 증강을 활용하여 대비 학습을 위한 양성 쌍을 생성함으로써, 모델이 불변하는 의미적 특징을 학습하도록 보장한다.
• 최근 이산 잠재 변수에 대한 기울기 추정 기술의 발전을 활용하여, 확률적 최적화를 통해 전체 모델을 종단간 훈련한다.

실험 결과

연구 질문

• RQ1 복원 기반 목표에 의존하지 않고도 대비 학습이 높은 품질의 이진 해싱 코드를 효과적으로 학습시킬 수 있는가?
• RQ2 대비 학습 프레임워크 내에서 이산적인 이진 코드에 대한 종단간 훈련을 어떻게 달성할 수 있는가?
• RQ3 해싱 맥락에서 대비 학습과 정보 볼록 원리 간의 이론적 관계는 무엇인가?
• RQ4 복원 기반 목표를 대비 목표로 대체하면 비지도 해싱에서 의미적 표현 학습이 향상되는가?
• RQ5 β와 배치 크기와 같은 핵심 하이퍼파라미터가 제안된 방법의 성능에 미치는 영향은 어떠한가?

주요 결과

• CIFAR-10에서 코드 길이가 16에서 64비트 범위일 때, CIBHash는 최고의 베이스라인(TBH) 대비 평균 5.7% 향상된 성능을 기록한다.
• NUS-WIDE에서 CIBHash는 최신 기술 수준(SOTA) 방법 대비 평균 7.8% 향상되었으며, 특히 짧은 코드 길이에서 더 큰 향상률을 기록한다.
• MSCOCO에서 CIBHash는 현재 최신 기술 수준(SOTA) 방법 대비 평균 3.6% 향상된 성능을 기록한다.
• 종단간 훈련과 확률적 이진 레이어를 사용하는 CLHash의 변종은 대비 특징의 단순 이진화에 비해 CIFAR-10에서 성능을 5.2% 향상시켰다.
• CIFAR-10에서 CIBHash는 CLHash를 0.8% 향상시키며, MSCOCO에서는 1.0% 향상되어 IB 프레임워크 통합의 유용성을 확인한다.
• 균형 잡힌 β 값에서 모델이 가장 우수한 성능을 보이며, β가 너무 작거나 너무 크면 성능이 떨어지므로 대표성 품질과 압축 간의 중요한 트레이드오프가 존재함을 시사한다.