[논문 리뷰] Generative Semantic Hashing Enhanced via Boltzmann Machines

Lin Zheng, Qinliang Su외 2명|arXiv (Cornell University)|2020. 06. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 28인용 수 4

한 줄 요약

이 논문은 기존 방법에서의 독립성 가정을 초월하기 위해 버울츠만 기반의 변분 사후 분포를 사용하여 해시 코드 비트 간의 상관관계를 도입한 새로운 생성형 의미 해싱 모델을 제안한다. 재파rameterization을 통해 버울츠만 분포를 재정의하고, 渐近적으로 정확한 ELBO 하한을 유도함으로써 효율적인 엔드 투 엔드 학습이 가능해졌으며, 코드 길이가 증가함에 따라 성능 저하 없이 다양한 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Generative semantic hashing is a promising technique for large-scale information retrieval thanks to its fast retrieval speed and small memory footprint. For the tractability of training, existing generative-hashing methods mostly assume a factorized form for the posterior distribution, enforcing independence among the bits of hash codes. From the perspectives of both model representation and code space size, independence is always not the best assumption. In this paper, to introduce correlations among the bits of hash codes, we propose to employ the distribution of Boltzmann machine as the variational posterior. To address the intractability issue of training, we first develop an approximate method to reparameterize the distribution of a Boltzmann machine by augmenting it as a hierarchical concatenation of a Gaussian-like distribution and a Bernoulli distribution. Based on that, an asymptotically-exact lower bound is further derived for the evidence lower bound (ELBO). With these novel techniques, the entire model can be optimized efficiently. Extensive experimental results demonstrate that by effectively modeling correlations among different bits within a hash code, our model can achieve significant performance gains.

연구 동기 및 목표

• 기존 생성형 의미 해싱 모델에서 비트 간 독립성 가정이 의미 표현 능력과 코드 공간의 효율성에 제약을 주는 문제를 해결하기 위해.
• 복잡한 상관관계를 효과적으로 모델링하여 의미 표현 품질을 향상시키기 위해.
• 기존에 정규화 항 문제로 인해 비가역적인 것으로 간주되던 버울츠만 기반 변분 사후 분포에 대한 실용적인 학습 방법을 개발하기 위해.
• 표시 없이도 엔드 투 엔드로 학습 가능한 의미 해싱 모델을 구축하면서도 계산 효율성을 유지하기 위해.

제안 방법

• 이진 해시 코드 비트 간의 의존성을 모델링하기 위해 비인과적 변분 사후 분포로 버울츠만 기반 분포를 도입한다.
• 기울기 기반 최적화를 가능하게 하기 위해 버울츠만 분포를 가우시안 유사 분포와 베르누이 분포의 계층적 연결 형태로 재구성한다.
• 버울츠만 기반 분포의 비가역적 정규화 상수 문제를 해결하기 위해 증거 하한(ELBO)의 渐近적으로 정확한 하한을 도출한다.
• 모델 복잡성과 계산 비용의 균형을 맞추기 위해 가우시안 성분의 공분산 행렬에 저랭크 편향을 적용한다.
• 사후 분포를 k개의 성분으로 구성된 혼합 모델로 근사하며, k가 증가할수록 하한의 타이트함이 향상된다.
• 재파rameter화된 기울기와 유도된 ELBO 하한을 사용하여 백프로파게이션을 통한 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 해시 코드 비트 간의 상관관계를 모델링하면 생성형 의미 해싱에서 검색 성능 향상에 기여하는가?
• RQ2 버울츠만 기반 사후 분포의 비가역적 정규화 항을 효율적인 학습을 위해 어떻게 해결할 수 있는가?
• RQ3 비트 간의 구조적 의존성을 도입하면 코드 길이 증가에 따라 성능 저하가 발생하지 않는가?
• RQ4 버울츠만 기반 비인과적 사후 분포를 기울기 기반 최적화에 효과적으로 재파라미터화할 수 있는가?
• RQ5 하이퍼파ram터 v(저랭크 차원 수)와 k(혼합 성분 수)는 모델 성능 및 성능-비용 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델은 비교 모델 전부에 대해 세 개의 공개 데이터셋에서 가장 높은 검색 정밀도를 기록했으며, 64비트 코드를 사용한 레이터스 데이터셋에서 정밀도 0.8465를 달성했다.
• 랭크 파라미터 v가 증가함에 따라 성능이 단조적으로 향상되었으며, v=0에서 v=1로의 전환 시 가장 큰 성능 향상이 관찰되어 낮은 차수의 상관관계에서도 큰 이점이 있음을 시사한다.
• 기존 독립 비트 모델이 코드 길이 증가에 따라 성능 저하를 보이는 것과는 달리, 제안된 모델은 코드 길이가 증가해도 성능을 유지하거나 향상시킨다.
• 혼합 성분 수 k를 늘일수록 ELBO 하한이 더욱 타이트해지고 검색 정밀도도 향상되며, k=10일 때가 가장 뛰어난 성능을 보였다.
• v=10과 k=10을 사용한 모델은 레이터스 데이터셋에서 정밀도 0.8465를 기록했으며, NASH(0.7812, v=0)를 크게 앞서며, v=10 이상에서는 성능 향상이 거의 관찰되지 않았다.
• 20Newsgroups에 대한 시각화 결과, 제안된 모델은 가장 의미적으로 분리 가능한 해시 코드를 생성했으며, 각 카테고리에 대해 뚜렷한 클러스터가 형성되었다.