[논문 리뷰] An Algorithm for Reducing Approximate Nearest Neighbor to Approximate Near Neighbor with O(logn) Query Time

Hengzhao Ma, Jianzhong Li|arXiv (Cornell University)|2018. 09. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 20인용 수 5

한 줄 요약

이 논문은 상자 분할 트리 데이터 구조를 활용하여 근사 최근접 이웃(ε-NN) 문제를 근사 근접 이웃(c,r)-NN 문제로의 새로운 감소를 제시한다. 이로 인해 쿼리 시간이 O(log n)으로 보장되며, 각 쿼리는 (c,r)-NN 알고리즘을 오직 O(log n)번만 호출함으로써 이전의 다항로그(n) 상한보다 크게 향상된다. 이는 철저한 파rameter 조정과 계층적 상자 분할을 통해 달성된다.

ABSTRACT

This paper proposes a new algorithm for reducing Approximate Nearest Neighbor problem to Approximate Near Neighbor problem. The advantage of this algorithm is that it achieves O(log n) query time. As a reduction problem, the uery time complexity is the times of invoking the algorithm for Approximate Near Neighbor problem. All former algorithms for the same reduction need polylog(n) query time. A box split method proposed by Vaidya is used in our paper to achieve the O(log n) query time complexity.

연구 동기 및 목표

• 기존 ε-NN에서 (c,r)-NN으로의 감소 방법이 이전에 다항로그(n) 번의 (c,r)-NN 알고리즘 호출을 필요로 하여 쿼리 시간이 비효율한 문제를 해결하기 위해.
• 계층적 상자 간에 효율적인 로그 시간 쿼리 라우팅을 가능하게 하는 사전 처리 데이터 구조를 설계하기 위해.
• ε-NN 쿼리당 (c,r)-NN 쿼리 수를 최소화하면서도 근사 보장을 유지하기 위해.
• 상자 분할에 의해 유도되는 차원 d에 대한 지수적 의존도를 줄이기 위해. 다만 이는 아직 해결되지 않은 과제이다.

제안 방법

• 각 내부 노드가 점 집합을 분할하는 상자(박스)를 나타내며, 최소 2개 이상, 최대 n개 이하의 자식 노드를 가진 상자 분할 트리 데이터 구조를 사용한다.
• 공간을 중첩된 상자들로 계층적 분해하여, 상자 내 모든 점이 트리의 동일한 수준에 위치하도록 보장한다.
• 각 상자에 대해 이웃 상자 집합(Nbr)과 근접 정보를 유지하기 위한 추정 최소 거리(Est)를 유지한다.
• 쿼리 절차를 설계하여 상자 분할 트리의 각 수준에 대해 (c,r)-NN 알고리즘을 딱 한 번만 호출함으로써 총 호출 횟수를 O(log n)으로 제한한다.
• 각 (c,r)-NN 호출에 대해 상자의 크기와 쿼리 점까지의 추정 거리에 기반한 입력 파라미터를 조정한다.
• Nbr 집합에 대해 최소 힙(min-heap) 데이터 구조를 사용하여 삽입, 삭제, 최소 거리 접근을 O(log n) 시간에 지원한다.

실험 결과

연구 질문

• RQ1 ε-NN 쿼리당 (c,r)-NN 쿼리 수를 다항로그(n) 이하로 줄일 수 있는가?
• RQ2 계층적 상자 분할 방식을 사용하여 ε-NN을 (c,r)-NN으로 감소시켜 O(log n) 쿼리 시간을 달성할 수 있는가?
• RQ3 사전 처리 단계는 어떻게 구성되어야 상자 간에 로그 시간 쿼리 라우팅을 지원할 수 있는가?
• RQ4 이러한 감소에서 차원성 의존도와 쿼리 효율성 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 알고리즘은 ε-NN에서 (c,r)-NN으로의 감소에서 기존 방법들 중에서 최적의 O(log n) 쿼리 시간 복잡도를 달성한다.
• 사전 처리 시간 복잡도는 O((d/ε)^d · n log n)이며, 이는 차원과 근사 요소에 따라 비례한다.
• 공간 복잡도는 O((d/ε)^d · n)이며, 이는 상자 수와 각 상자당 이웃 집합의 크기에 의해 결정된다.
• 알고리즘은 각 (c,r)-NN 쿼리가 상자 분할 트리의 각 수준에 대해 최대 한 번만 호출됨을 보장하여 총 호출 수를 O(log n)으로 제한한다.
• 상자 분할 트리 구축 과정은 최대 2n개의 노드를 보장하므로, 사전 처리 중에 효율적인 공간 및 시간 복잡도를 확보할 수 있다.
• 이전의 감소 방법에 비해 (c,r)-NN 호출 횟수를 다항로그(n)에서 O(log n)으로 줄임으로써 쿼리 효율성이 크게 향상된다.