[논문 리뷰] Fast k-Nearest Neighbour Search via Dynamic Continuous Indexing

Ke Li, Jitendra Malik|arXiv (Cornell University)|2015. 12. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 25인용 수 5

한 줄 요약

이 논문은 공간 분할을 피하기 위해 무작위 일차원 투영을 사용하여 연속적이고 데이터 적응적인 인덱스를 생성하는 새로운 k-최근접 이웃 검색 방법인 동적 연속 인덱싱(DCI)을 제안한다. 기존의 방법과 달리 DCI는 내재 차원성과 데이터셋 크기에서 선형 이하의 시간 복잡도를 달성하며, 동적 업데이트를 지원하고 LSH보다 뛰어난 근사 품질과 공간 효율성을 확보한다. LSH보다 후보 포인트 수를 61.3%~78.7% 줄이고 메모리 사용량도 1/20 미만으로 줄인다.

ABSTRACT

Existing methods for retrieving k-nearest neighbours suffer from the curse of dimensionality. We argue this is caused in part by inherent deficiencies of space partitioning, which is the underlying strategy used by most existing methods. We devise a new strategy that avoids partitioning the vector space and present a novel randomized algorithm that runs in time linear in dimensionality of the space and sub-linear in the intrinsic dimensionality and the size of the dataset and takes space constant in dimensionality of the space and linear in the size of the dataset. The proposed algorithm allows fine-grained control over accuracy and speed on a per-query basis, automatically adapts to variations in data density, supports dynamic updates to the dataset and is easy-to-implement. We show appealing theoretical properties and demonstrate empirically that the proposed algorithm outperforms locality-sensitivity hashing (LSH) in terms of approximation quality, speed and space efficiency.

연구 동기 및 목표

• k-d 트리와 LSH와 같은 기존의 공간 분할 방법이 앓는 고차원에서의 차원의 극복 문제를 해결한다.
• 공간 분할의 한계, 즉 고차원에서의 지수적 복잡도와 변수가 많은 데이터 밀도 처리의 열악함을 극복한다.
• 고정된 분할이나 복잡한 데이터 구조에 의존하지 않고도 빠르고 동적이고 적응적인 k-최근접 이웃 검색을 가능하게 하는 방법을 개발한다.
• 내재 차원성과 데이터셋 크기에서 선형 이하의 시간 복잡도를 달성하면서도, 임베딩 차원성에서는 일정한 공간 복잡도를 유지한다.

제안 방법

• 근접도 기반으로 데이터 포인트의 순서를 유도하기 위해 무작위 일차원 투영을 사용하여 연속적 인덱스를 구축한다.
• 검색 공간을 쿼리 시간에 동적으로 개선하기 위해 다수의 무작위 투영(m)과 다수의 반복(L)을 사용한다.
• 투영 기반의 근접도를 바탕으로 후보 포인트를 반복적으로 제거하는 무작위 알고리즘을 적용하여 명시적 공간 분할을 피한다.
• 반복 횟수를 조절하여 쿼리 시간에 근사 품질을 제어함으로써, 속도와 정확도 사이의 쿼리 별 트레이드오프를 가능하게 한다.
• 전체 재계산 없이도 연속 인덱스를 점진적으로 유지함으로써 동적 업데이트를 지원한다.
• 투영 공간에서 가까운 포인트는 벡터 공간에서도 유사할 가능성이 높다는 사실을 활용하며, 무작위 투영 이론의 통계적 보장을 활용한다.

실험 결과

연구 질문

• RQ1 공간 분할에 의존하지 않고도 고차원 공간에서 k-최근접 이웃 검색을 효율적으로 수행할 수 있는가?
• RQ2 데이터 의존적 사전 처리 없이도 국소 데이터 밀도 변화에 적응할 수 있는 방법을 설계할 수 있는가?
• RQ3 임베딩 차원성에서 선형 시간 복잡도를 유지하면서도 LSH보다 뛰어난 근사 품질과 공간 효율성을 달성할 수 있는가?
• RQ4 재색인화 없이도 k-최근접 이웃 인덱싱 체계에서 데이터셋의 동적 업데이트를 효율적으로 지원할 수 있는가?
• RQ5 사전에 근사 수준을 정의하지 않고도 쿼리 별 정확도와 속도 제어를 달성할 수 있는가?

주요 결과

• 제안된 DCI 방법은 CIFAR-100과 MNIST 데이터셋에서 모두 다양한 근사 수준에서 LSH보다 뛰어난 근사 품질을 확보한다.
• MNIST에서 DCI는 동일한 근사 비율을 달성하기 위해 LSH보다 61.3%~78.7% 적은 후보 포인트를 필요로 하며, 이는 뛰어난 효율성을 보여준다.
• DCI는 LSH가 요구하는 메모리의 1/20 미만을 사용하여 공간 효율성에서 뚜렷한 개선을 이룬다.
• 이 방법은 임베딩 차원성에서 선형 시간 복잡도를 달성하고 내재 차원성과 데이터셋 크기에서 선형 이하의 시간 복잡도를 확보하여 확장성을 확보한다.
• DCI는 재색인화 없이도 동적 업데이트와 데이터 밀도 변화에 대한 실시간 적응을 지원하며, LSH는 해시 함수 선택과 데이터 분포에 민감한 반면 DCI는 그렇지 않다.
• 실험 결과 DCI는 LSH가 상당히 성능이 저하되는 도전적인 고밀도 데이터셋인 MNIST에서도 강력한 성능을 유지함을 보였다.