[논문 리뷰] Clustering is Efficient for Approximate Maximum Inner Product Search

Alex Auvolat, Sarath Chandar외 3명|arXiv (Cornell University)|2015. 07. 21.

Advanced Image and Video Retrieval Techniques참고 문헌 19인용 수 26

한 줄 요약

이 논문은 최대 내적 검색(MIPS)을 최대 코사인 유사도 검색(MCSS)으로 환원한 후 구면 k-평균 클러스터링을 적용하여 간단하면서도 매우 효과적인 근사 최대 내적 검색(MIPS) 방법을 제안한다. 이 방법은 기존의 최첨단 해싱 및 트리 기반 방법들보다 훨씬 높은 속도 향상을 달성하면서도 검색 정밀도를 유지하거나 향상시키며, 노이즈가 있는 쿼리에 대해 뛰어난 강건성을 보인다.

ABSTRACT

Efficient Maximum Inner Product Search (MIPS) is an important task that has a wide applicability in recommendation systems and classification with a large number of classes. Solutions based on locality-sensitive hashing (LSH) as well as tree-based solutions have been investigated in the recent literature, to perform approximate MIPS in sublinear time. In this paper, we compare these to another extremely simple approach for solving approximate MIPS, based on variants of the k-means clustering algorithm. Specifically, we propose to train a spherical k-means, after having reduced the MIPS problem to a Maximum Cosine Similarity Search (MCSS). Experiments on two standard recommendation system benchmarks as well as on large vocabulary word embeddings, show that this simple approach yields much higher speedups, for the same retrieval precision, than current state-of-the-art hashing-based and tree-based methods. This simple method also yields more robust retrievals when the query is corrupted by noise.

연구 동기 및 목표

• 추천 시스템 및 극단적 분류와 같은 대규모 응용 분야에서 효율적인 근사 최대 내적 검색(MIPS)의 과제를 해결한다.
• 지속적 근접 해싱(LSH) 및 트리 기반 접근법과 같이 정밀도를 희생하거나 노이즈가 있는 입력에서 일반화 능력이 떨어지는 기존 방법의 한계를 극복한다.
• 간단한 클러스터링 기반 방법이 근사 MIPS에서 속도, 정밀도, 강건성 간의 더 나은 트레이드오���을 달성할 수 있는지 탐색한다.
• 데이터에 의존적인 클러스터링 전략이 데이터에 무관한 해싱 기법보다 벡터 공간 내 이웃 구조를 얼마나 잘 유지하고, 쿼리 손상 상황에서 잘 작동하는지 조사한다.

제안 방법

• 벡터의 노름이 일정할 때 내적 최대화가 코사인 유사도 최대화와 동치임을 활용하여, 벡터를 정규화함으로써 원래의 MIPS 문제를 최대 코사인 유사도 검색(MCSS) 문제로 환원한다.
• 데이터 벡터에 대해 구면 k-평균 클러스터링을 적용하여 정규화된 중심점을 갖는 클러스터로 임베딩 공간을 분할한다.
• 주어진 쿼리에 대해 각 클러스터 중심점과의 코사인 유사도를 계산하고, 유사도가 높은 상위-k개의 클러스터를 후보 집합으로 선정한다.
• 선택된 클러스터 내의 벡터들에 대해서만 정확한 K-MIPS를 수행함으로써 검색 공간을 극적으로 줄인다.
• 계층적 k-평균 또는 상위-k 클러스터 선택(예: 상위 3개 또는 8개 클러스터)을 통해 후보 집합을 추가로 정밀하게 조정하고 정밀도를 향상시킨다.
• 차원별 투영이 아닌 전반적인 클러스터링 구조에 의존함으로써 노이즈에 덜 민감한 방법을 확보하여 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 간단한 클러스터링 기반 방법이 근사 K-MIPS의 속도 향상과 정밀도 측면에서 최첨단 해싱 및 트리 기반 방법을 뛰어넘을 수 있는가?
• RQ2 쿼리 노이즈 수준이 다양할 때 k-평균 클러스터링의 성능이 LSH와 같은 데이터에 무관한 방법보다 어떻게 다를까?
• RQ3 쿼리가 훈련 데이터 포인트와 정확히 일치하지는 않지만 가까운 경우, 클러스터링 기반 방법이 벡터 공간 내 이웃 구조를 어느 정도 잘 유지하는가?
• RQ4 특히 동적 학습 환경에서 기존 기법들보다 더 나은 일반화 성능을 보일 수 있는가?
• RQ5 여러 개의 클러스터링을 조합하거나 실시간으로 클러스터링을 적응시키는 것이 극단적 분류나 추천 시스템에서 정밀도와 속도를 추가로 향상시킬 수 있는가?

주요 결과

• k-평균 기반 방법은 Movielens-10M 및 Netflix 데이터셋에서 최첨단 해싱 및 트리 기반 방법보다 최대 30배 빠른 속도 향상을 달성하면서도 정밀도를 유지하거나 초월한다.
• 단어 임베딩 검색 작업에서는 k-평균이 PCA-Tree 및 해싱 방법(SRP-Hash, WTA-Hash)보다 상위 10 및 상위 100 MIPS에서 더 우수한 성능을 보이며, 더 나은 이웃 보존 능력을 나타낸다.
• 쿼리 노이즈에 더 강건하다: 정규분포 노이즈의 표준편차가 0.4까지 증가해도 k-평균은 다른 알고리즘보다 더 높은 정밀도를 유지하며, 특히 상위 1 및 상위 10 검색에서 두드러진 성능을 보인다.
• 구면 k-평균 클러스터링은 데이터에 무관한 해싱보다 더 일관되고 신뢰할 수 있는 후보 집합을 생성하여, 미리 보지 않은 또는 약간 손상된 쿼리에 대한 일반화 능력이 뛰어나다.
• 계층적 k-평균 변형(상위 8개 클러스터)은 계산 비용을 크게 증가시키지 않으면서도 정밀도를 추가로 향상시켜 확장성과 효과성을 입증한다.
• 학습 중 임베딩이 변화하는 동적 환경에서도 잘 일반화되어 MIPS 색인의 빈번한 재학습이 필요로 하는 것을 줄인다.