[논문 리뷰] Local Density Estimation in High Dimensions

Xian Wu, Moses Charikar외 1명|arXiv (Cornell University)|2018. 09. 20.

Advanced Graph Neural Networks참고 문헌 14인용 수 6

한 줄 요약

이 논문은 고차원 벡터 공간에서 주어진 각도 거리 내의 점을 효율적이고 정확하게 세는 데 사용할 수 있는 LSH Count와 Multi-Probe Count라는 두 가지 국소 감지 해싱 기반 추정기들을 제안한다. 다중 버킷 샘플링과 중요도 가중치를 활용함으로써, 특히 GLOVE와 같은 단어 임베딩 데이터셋에서 기존 방법에 비해 훨씬 향상된 정확도와 더 낮은 샘플 복잡도를 달성한다.

ABSTRACT

An important question that arises in the study of high dimensional vector representations learned from data is: given a set $\mathcal{D}$ of vectors and a query $q$, estimate the number of points within a specified distance threshold of $q$. We develop two estimators, LSH Count and Multi-Probe Count that use locality sensitive hashing to preprocess the data to accurately and efficiently estimate the answers to such questions via importance sampling. A key innovation is the ability to maintain a small number of hash tables via preprocessing data structures and algorithms that sample from multiple buckets in each hash table. We give bounds on the space requirements and sample complexity of our schemes, and demonstrate their effectiveness in experiments on a standard word embedding dataset.

연구 동기 및 목표

• 질의 점 주변의 주어진 각도 거리 내에 있는 고차원 벡터의 수를 효율적으로 추정하는 문제를 해결하기 위해.
• 기존 방법이 차원의 저주로 인해 어려움을 겪는 고차원 공간에서의 밀도 추정을 위한 실용적이고 이론적으로 타당한 방법을 개발하기 위해.
• 각 테이블당 하나의 버킷에 의존하는 기존 LSH 기반 추정기들과 비교해 저장 및 샘플 복잡도를 줄이기 위해.
• 단어 임베딩, 추천 시스템, 이상치 탐지와 같은 응용 분야에서 이웃 수 계산의 정확도를 향상시키기 위해.
• 공간과 샘플 복잡도에 대한 증명 가능한 경계를 제공하면서도 실제 데이터셋에서 실용적인 효율성을 유지하기 위해.

제안 방법

• LSH Count 추정기는 다중 해시 테이블과 각 테이블에서 다중 버킷을 샘플링하여 질의 점 주변의 목표 각도 반경 내에 있는 점의 수를 추정한다.
• 샘플의 추정 거리 내에 있을 가능성에 따라 중요도 가중치를 적용함으로써 추정의 분산을 줄인다.
• Multi-Probe Count 추정기는 목표 거리에서 더 높은 충돌 확률을 가진 버킷을 우선적으로 탐색하는 프로빙 전략을 사용하여 효율성을 추가로 향상시킨다.
• 모든 방법은 각도 거리에 적합한 국소 감지 해싱 함수를 사용하며, 예를 들어 코사인 유사도를 위해 랜덤 프로젝션을 활용한다.
• 이론적 분석을 통해 공간 요구량과 샘플 복잡도에 대한 경계를 제공하며, 차원에 영향을 받지 않는 성능 보장을 보장한다.
• 자원 제약 조건 하에서 추정 오차를 최소화하기 위해 다중 버킷 샘플링과 중요도 샘플링을 조합한 분산 감소 기법을 사용한다.

실험 결과

연구 질문

• RQ1 다중 버킷 샘플링과 중요도 가중치를 통합한 LSH 기반 추정기를 설계하여, 낮은 저장 및 샘플 복잡도로도 고차원 밀도 추정에서 높은 정확도를 달성할 수 있는가?
• RQ2 각 해시 테이블에서 다수의 버킷을 샘플링할 경우, 이웃 수 계산의 분산과 정확도에 어떤 영향을 미치는가?
• RQ3 균일한 버킷 샘플링에 비해 중요도 가중치 적용이 추정 정확도를 얼마나 향상시키는가?
• RQ4 LSH Count와 Multi-Probe Count는 다중 프로브 및 [SS17]에서 제안한 추정기와 비교해 정확도와 효율성 측면에서 어떻게 다른가?
• RQ5 질의 점의 이웃 크기(특히 희박한 이웃 대비 조밀한 이웃)가 추정기 성능에 어떤 영향을 미치는가?

주요 결과

• GLOVE 임베딩에서 질의 점 주변 60도 이내의 단어 수를 추정할 때, 실용적인 자원 제약 조건 하에서 LSH Count는 경쟁 방법들에 비해 수 개체 수준의 정확도 향상을 달성한다.
• 중요도 가중치를 적용한 Multi-Probe Count는 표준 다중 프로브보다 성능이 뛰어나며, 'cake'와 'book'처럼 더 큰 이웃을 가진 조밀한 질의에서 특히 두각을 나타낸다.
• 'venice'(12개의 이웃)와 같은 매우 희박한 질의에서는, 10개 이하의 테이블까지 Multi-Probe Count가 다중 프로브를 능가하지만, 그 이상에서는 성능 향상 폭이 점점 줄어든다.
• 'book'에 대해 좋은 해밍 임계값(예: 2비트)을 선택할 경우, LSH Count가 Multi-Probe Count보다 더 우수한 성능을 보이며, 이는 파rameter 조정에 민감함을 시사한다.
• 다중 버킷 샘플링과 중요도 가중치의 조합은 분산 감소에 있어 뚜렷한 기여를 하여, 더 적은 샘플로도 정확한 추정이 가능하게 한다.
• 실험 결과, 두 추정기 모두 다양한 질의 밀도에서 우수한 성능를 유지하며, 높은 확률의 버킷 내에 있는 관심 없는 요소의 오염에도 강건함을 입증했다.