[논문 리뷰] Locality-Sensitive Hashing for f-Divergences: Mutual Information Loss and Beyond

Lin Chen, Hossein Esfandiari외 2명|arXiv (Cornell University)|2019. 10. 28.

Face and Expression Recognition인용 수 4

한 줄 요약

이 논문은 f-분산과 Kreĭn 커널에 대한 국소성에 민감한 해싱(LSH) 체계를 제안하여 고차원 확률 공간에서의 효율적인 근사 최근접 이웃 검색을 가능하게 한다. Hellinger 근사와 증명 가능한 이면 경계를 활용한 f-분산에 대한 일반적 프레임워크를 도입하고, 상호정보량 손실에 대해 손실이 없는 최대 내적 검색(MIPS)으로의 환원을 제공함으로써, 모델 압축 및 추천 시스템과 같은 응용 분야에서 확장 가능한 유사도 검색을 실현한다.

ABSTRACT

Computing approximate nearest neighbors in high dimensional spaces is a central problem in large-scale data mining with a wide range of applications in machine learning and data science. A popular and effective technique in computing nearest neighbors approximately is the locality-sensitive hashing (LSH) scheme. In this paper, we aim to develop LSH schemes for distance functions that measure the distance between two probability distributions, particularly for f-divergences as well as a generalization to capture mutual information loss. First, we provide a general framework to design LHS schemes for f-divergence distance functions and develop LSH schemes for the generalized Jensen-Shannon divergence and triangular discrimination in this framework. We show a two-sided approximation result for approximation of the generalized Jensen-Shannon divergence by the Hellinger distance, which may be of independent interest. Next, we show a general method of reducing the problem of designing an LSH scheme for a Krein kernel (which can be expressed as the difference of two positive definite kernels) to the problem of maximum inner product search. We exemplify this method by applying it to the mutual information loss, due to its several important applications such as model compression.

연구 동기 및 목표

• f-분산에 대한 일반적인 LSH 프레임워크를 개발하여 고차원 확률 분포에서 확장 가능한 근사 최근접 이웃 검색을 가능하게 한다.
• 이전 연구에서 제안된 젠센-섀논 분산 및 관련 f-분산에 대해 증명 가능한 근사 보장이 부족한 문제를 해결한다.
• Kreĭn 커널 기반 유사도(예: 상호정보량 손실)를 최대 내적 검색(MIPS)으로 손실이 없는 환원을 제공한다.
• 실제 데이터셋인 MNIST, Fashion MNIST, CIFAR-10과 같은 환경에서 정보이론적 거리에 대한 LSH의 실용적 구현을 가능하게 한다.
• 대규모 유사도 검색 작업에서 정밀도와 속도 향상 간의 균형을 실증적으로 분석한다.

제안 방법

• Hellinger 거리로 대체함으로써 f-분산에 대한 LSH 가족을 설계할 수 있는 일반적 환원 도구(정리 1)를 제안한다.
• 일반화된 젠센-섀논(GJS) 분산과 Hellinger 거리 사이의 이면 근사 경계를 확립하여 이론적 보장을 가능하게 한다.
• 이 프레임워크를 활용해 두 가지 특정 f-분산에 대한 LSH 체계를 구축한다: 일반화된 젠센-섀논 분산과 삼각형 차별도.
• Kreĭn 커널 기반 유사도(예: 상호정보량 손실)를 최대 내적 검색(MIPS)으로 이론적으로 손실이 없는 환원을 일반화한다.
• 코사인 유사도를 위한 랜덤 프로젝션 기반 LSH를 사용하여 MIPS 구성 요소를 구현하며, 다수의 해시 함수를 연결하여 복합 해시 함수를 구성한다.
• 노름 범위 분할 전략을 도입하여 고차원 공간에서 $ \text{sign}(\bfx^\top \bfa) $-기반 해시 함수로 인한 성능 저하를 완화한다.

실험 결과

연구 질문

• RQ1 f-분산에 대해 증명 가능한 근사 보장을 갖는 LSH 체계를 설계할 수 있는가, 특히 일반화된 젠센-섀논 분산에 대해?
• RQ2 Hellinger 거리는 일반화된 젠센-섀논 분산을 얼마나 잘 근사하는가, 그리고 이 근사의 날카운 경계는 무엇인가?
• RQ3 Kreĭn 커널 기반 LSH 문제를 이론적으로 손실이 없는 방식으로 최대 내적 검색(MIPS)으로 환원할 수 있는가?
• RQ4 제안된 상호정보량 손실을 위한 LSH 체계는 실제 이미지 데이터셋에서 정밀도와 속도 향상 측면에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법을 사용한 대규모 근사 최근접 이웃 검색에서 계산 효율성(속도 향상)과 검색 품질(정밀도) 간의 상호 보완적 관계는 어떠한가?

주요 결과

• 일반화된 젠센-섀논 분산은 Hellinger 거리로 엄밀하게 양면 근사되며, Reuters-21578 주제 분포에서 다양한 λ 값(1/2, 1/3, 1/10)에 대해 실증적으로 상한과 하한 경계가 모두 날카롭게 유지됨을 확인하였다.
• Fashion MNIST, MNIST, CIFAR-10에서 LSH 기반 k-NN 검색은 K=3 및 L=40 해시 함수를 사용할 경우 최대 10배의 속도 향상을 기록했으며, 정밀도는 0.8 이상을 확보하였다.
• 해시 함수의 연결 수 K를 3에서 5로 증가시킬 경우 동일한 정밀도 수준에서 효율성이 향상됨을 확인하여, 고정된 정밀도에서 더 높은 K 값이 더 나은 성능을 제공함을 입증하였다.
• 일반화된 젠센-섀논 분산의 다양한 λ 값에 대해 뚜렷한 정밀도 저하 없이 안정적인 성능을 기록하여, 파rameter 선택에 대한 민감도가 낮음을 확인하였다.
• MIPS 환원을 통한 상호정보량 손실을 위한 LSH 체계는 이론적으로 손실이 없으며, 모델 압축 및 추천 시스템과 같은 응용 분야에서 효율적인 유사도 검색을 가능하게 한다.
• 노름 범위 분할 전략은 고차원 공간에서 $ \norm{\bfx}_2 $ 가 클 경우 $ \text{sign}(\bfx^\top \bfa) $-기반 해시 함수로 인한 성능 저하를 효과적으로 완화한다.