[논문 리뷰] Auto-Encoding Twin-Bottleneck Hashing

Yuming Shen, Jie Qin외 6명|arXiv (Cornell University)|2020. 02. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 48인용 수 5

한 줄 요약

이 논문은 이중 볼류너(이중 볼류너)를 갖춘 새로운 비지도 해싱 프레임워크인 Twin-Bottleneck Hashing(TBH)를 제안한다. 이는 이중 볼류너 구조를 가진 생성적 오토인코더 아키텍처를 통해 이진 코드 학습과 적응형 그래프 구축을 동시에 최적화한다. 이진 코드를 사용해 히브밍 거리 기반 유사도 그래프를 동적으로 구축하고, 연속 잠복 변수를 활용해 고정밀 복원을 달성함으로써, 이중 제약 조건을 완화하지 않고도 최신 기술 수준의 성능을 달성한다. 이는 확률적 경사 하강법을 통한 엔드 투 엔드 훈련을 가능하게 한다.

ABSTRACT

Conventional unsupervised hashing methods usually take advantage of similarity graphs, which are either pre-computed in the high-dimensional space or obtained from random anchor points. On the one hand, existing methods uncouple the procedures of hash function learning and graph construction. On the other hand, graphs empirically built upon original data could introduce biased prior knowledge of data relevance, leading to sub-optimal retrieval performance. In this paper, we tackle the above problems by proposing an efficient and adaptive code-driven graph, which is updated by decoding in the context of an auto-encoder. Specifically, we introduce into our framework twin bottlenecks (i.e., latent variables) that exchange crucial information collaboratively. One bottleneck (i.e., binary codes) conveys the high-level intrinsic data structure captured by the code-driven graph to the other (i.e., continuous variables for low-level detail information), which in turn propagates the updated network feedback for the encoder to learn more discriminative binary codes. The auto-encoding learning objective literally rewards the code-driven graph to learn an optimal encoder. Moreover, the proposed model can be simply optimized by gradient descent without violating the binary constraints. Experiments on benchmarked datasets clearly show the superiority of our framework over the state-of-the-art hashing methods. Our source code can be found at https://github.com/ymcidence/TBH.

연구 동기 및 목표

• 비지도 해싱에서 '정적 그래프' 문제를 해결하기 위해, 사전에 계산된 또는 앵커 기반의 유사도 그래프가 유도하는 편향된 사전 지식이 성능을 저해하는 문제를 해결한다.
• 생성적 해싱에서의 '부족한 BinBN' 문제를 해결하기 위해, 직접적으로 이진 볼류너에서 복원하는 것보다 열악한 복원 품질을 초래하는 문제를 해결한다.
• 해싱 함수 학습과 그래프 구축을 하나의 엔드 투 엔드 훈련 가능한 프레임워크로 통합하여, 번갈아가며 최적화하거나 제약 조건을 완화하는 기법을 피한다.
• 이진 변수를 통한 기울기 기반 최적화를 가능하게 하되, 이중 제약 조건을 위반하지 않도록 하여 표준 SGD를 사용한 실용적인 훈련을 보장한다.

제안 방법

• TBH는 이진 볼류너(BinBN)를 통해 분류적 코드 학습을 수행하고, 연속 볼류너(ConBN)를 통해 고용량 복원을 수행하는 이중 볼류너 오토인코더 아키텍처를 사용한다.
• 코드 기반 그래프는 Eq. (4)를 사용해 이진 코드 간의 히브밍 거리로부터 직접 구성되며, 이는 적응적이고 데이터 기반의 유사도 모델링을 가능하게 한다.
• 그래프 컨볼루션 네트워크(GCNs)는 BinBN에서 ConBN로 그래프 정보를 전파하여 특징 표현 학습을 향상시킨다.
• 복원 손실은 ConBN를 통해 계산되며, 직접적인 이진 복원보다 더 많은 엔트로피를 유지하고 복원 품질을 향상시킨다.
• 이산 이진 볼류너를 통한 기울기 역전파를 가능하게 하기 위해 분포 기반 도함수 추정기를 사용하여, 제약 조건을 완화하거나 번갈아가며 최적화하지 않고도 엔드 투 엔드 훈련을 가능하게 한다.
• 전반적인 손실은 오토인코딩, 적대적, 그래프 정규화 항목을 포함하며, 표준 확률적 경사 하강법(SGD)을 통해 최적화된다.

실험 결과

연구 질문

• RQ1 적응적이고 코드 기반의 유사도 그래프가 정적 또는 사전 계산된 그래프를 대체함으로써 비지도 해싱 성능을 향상시킬 수 있는가?
• RQ2 이중 볼류너 아키텍처가 생성적 해싱 모델에서의 '부족한 BinBN' 문제를 효과적으로 해결할 수 있는가?
• RQ3 이중 제약 조건을 위반하지 않고도, 이산 변수를 통한 기울기 추정을 통해 이진 코드의 엔드 투 엔드 훈련이 가능한가?
• RQ4 코드 학습과 그래프 구축의 동시 최적화가 전통적인 번갈아가며 최적화하거나 제약 조건을 완화하는 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• TBH는 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 비지도 해싱 방법보다 이미지 검색 성능에서 뛰어나다.
• 적응적 코드 기반 그래프를 제거한 경우(기준 모델_6) 성능이 약 9% 감소함을 확인하여, 데이터 구조 모델링에서 그 중요성을 입증한다.
• 이중 볼류너 설계는 단일 볼류너 기준 모델 대비 복원 오차를 감소시켜, '부족한 BinBN' 문제를 완화하는 데 효과적임을 검증한다.
• 모델은 다양한 하이퍼파rameter 설정에 대해 강건하며, 볼류너 차원 L을 64로 줄여도 성능 저하가 최소한이다.
• 정성적 결과에서는 코드 기반 그래프가 레이블 기반 유사도를 잘 모방하며, t-SNE 시각화 결과는 히브밍 공간에서 의미적으로 유사한 클래스들이 가까이 뭉쳐져 있음을 보여준다.
• MNIST에 대한 이미지 복원 결과에서는 TBH가 SGH보다 더 많은 이미지 세부 정보를 유지하며, 재구성된 숫자에서 더 적은 오분류를 보였다.