[논문 리뷰] Improving Similarity Search with High-dimensional Locality-sensitive Hashing

Jaiyam Sharma, Saket Navlakha|arXiv (Cornell University)|2018. 12. 05.

Advanced Image and Video Retrieval Techniques참고 문헌 24인용 수 7

한 줄 요약

이 논문은 과일파리 냄새 처리 시스템을 영감으로 삼아 고차원 이진 해싱을 사용하여 유사도 검색 성능을 향상시키는 데이터에 의존하지 않는 국소성 감지 해싱(LSH) 기법인 DenseFly와 FlyHash를 제안한다. 희소 이진 투영과 승자독점(sparsification)을 통해 입력을 고차원 공간으로 투영함으로써, 여섯 가지 벤치마크 데이터셋에서 기존 LSH 기법들을 능가하는 우수한 최근접 이웃 검색 성능와 유사도 순서 유지 성능를 달성하였으며, 계산 효율성도 유지한다.

ABSTRACT

We propose a new class of data-independent locality-sensitive hashing (LSH) algorithms based on the fruit fly olfactory circuit. The fundamental difference of this approach is that, instead of assigning hashes as dense points in a low dimensional space, hashes are assigned in a high dimensional space, which enhances their separability. We show theoretically and empirically that this new family of hash functions is locality-sensitive and preserves rank similarity for inputs in any `p space. We then analyze different variations on this strategy and show empirically that they outperform existing LSH methods for nearest-neighbors search on six benchmark datasets. Finally, we propose a multi-probe version of our algorithm that achieves higher performance for the same query time, or conversely, that maintains performance of prior approaches while taking significantly less indexing time and memory. Overall, our approach leverages the advantages of separability provided by high-dimensional spaces, while still remaining computationally efficient

연구 동기 및 목표

• 고차원 데이터에서의 유사도 검색을 향상시키기 위해 과일파리 냄새 회로를 영감으로 삼은 데이터에 의존하지 않는 국소성 감지 해싱 알고리즘의 새로운 클래스를 개발하는 것.
• 고차원 이진 해싱이 어떤 ℓp 노름에서도 분리성과 순서 유지 성능를 향상시켜 최근접 이웃 검색 정확도를 높인다는 것을 입증하는 것.
• 고차원 해싱을 위한 효율적인 버킷링을 가능하게 하는 다중 프로브 변형을 설계하여 고차원 LSH에서의 핵심 열린 문제를 해결하는 것.
• 최소한의 계산 오버헤드를 유지하면서도 뛰어난 성능를 달성하고, 구현 시 하나의 해시 테이블만을 사용하는 것.
• 여섯 가지 벤치마크 데이터셋에서의 검증을 통해 기존의 LSH 기법들인 SimHash, WTAHash, FlyHash와의 비교에서 일관된 성능 향상을 보여주는 것.

제안 방법

• 과일파리 냄새 시스템을 영감으로 삼은 세 층의 아키텍처를 사용한다: 입력 냄새는 50D로 인코딩되며, 평균 중심화를 통해 50D로 투영된 후, 희소 이진 무작위 투영을 통해 2000D로 매핑된다.
• 각 고차원 해시는 희소 이진 무작위 투영 행렬을 사용한 후, 가장 활성화가 높은 단위 중 상위 5%만 유지하는 글로벌 승자독점 메커니즘을 거친다.
• 결과로 얻어진 해시는 고차원 공간 내 희소 이진 벡터(예: 2000D)이며, 이는 입력 공간에서의 분리성과 유사도 관계를 향상시킨다.
• 논문은 모든 ℓp 노름에서 순서 유지 성능를 유지하는 FlyHash라는 변형을 도입하였으며, 이는 이론적으로 증명되고 실증적으로 검증되었다.
• 고차원 해싱 공간에서 효율적으로 여러 버킷을 탐색하기 위해 다중 프로브 확장 기법을 제안하였으며, 이는 저차원 중간 매개체를 사용하여 버킷링을 수행한다.
• 이 방법은 선형 시간 및 공간 복잡도를 유지하여, 최소한의 색인 비용으로 실용적인 구현이 가능하다.

실험 결과

연구 질문

• RQ1 과일파리 냄새 회로를 영감으로 삼은 고차원 이진 해싱은 기존의 데이터에 의존하지 않는 LSH 기법들보다 최근접 이웃 검색에서 뛰어난 성능를 보일 수 있는가?
• RQ2 제안된 고차원 해싱 전략은 이론적으로 주장한 바와 같이 어떤 ℓp 노름에서도 순서 유지 성능를 유지하는가?
• RQ3 고차원 해싱을 위한 다중 프로브 전략을 효율적으로 설계할 수 있는가? 이는 공간 및 시간 복잡도 증가 없이 검색 성능 향상을 가능하게 하는가?
• RQ4 DenseFly의 성능는 다양한 데이터셋과 해시 길이에서 SimHash, WTAHash, FlyHash와 비교해 어떻게 되는가?
• RQ5 WTA 요소와 해시 길이를 변화시켰을 때 순서 상관관계와 검색 정확도에 어떤 영향을 미치는가?

주요 결과

• DenseFly는 여섯 가지 벤치마크 데이터셋에서 SimHash, WTAHash, FlyHash를 모두 능가하는 정밀도와 재현율을 확보하였으며, 16비트 해시 길이에서 MNIST 데이터셋에서 42.5%의 Kendall-τ 순서 상관관계를 기록하였다.
• FlyHash는 모든 ℓp 노름에서 순서 유지 성능를 유지하였고, 기존 방법들보다 높은 순서 상관관계를 달성하였으며, 16비트 길이에서 GLoVE 데이터셋에서 28.1%의 Kendall-τ를 기록하였다.
• FlyHash의 다중 프로브 버전(FlyHash-MP)은 표준 FlyHash보다 높은 성능를 기록하였고, 유사한 시간 및 공간 복잡도를 유지하였다.
• DenseFly는 MNIST 데이터셋에서 32비트 길이에서 0.480의 Kendall-τ 순서 상관관계를 기록하였으며, WTAHash(0.375)와 FlyHash(0.375)를 크게 앞서갔다.
• 이 방법은 단 하나의 해시 테이블만을 사용하여 높은 성능를 달성하였으며, 다중 테이블 LSH 기법들에 비해 구현을 단순화하고 메모리 오버헤드를 감소시켰다.
• 실증 결과는 고차원 해싱이 계산 비용 증가 없이 분리성 향상과 검색 정확도 향상을 가능하게 한다는 것을 확인시켰다.