[논문 리뷰] Comparison Based Nearest Neighbor Search

Siavash Haghiri, Debarghya Ghoshdastidar외 1명|arXiv (Cornell University)|2017. 04. 05.

Data Management and Algorithms참고 문헌 29인용 수 10

한 줄 요약

이 논문은 삼중 비교(예: 'd(x,y) ≤ d(x,z)인가?')만을 사용하여 무작위 피벗을 통해 데이터 포인트를 균형 잡힌 부분집합으로 반복적으로 분할하는 비교 기반 최근접 이웃 검색 알고리즘인 비교 트리(Comparison Tree)를 제안한다. 강한 확장 조건 하에서 트리는 높이가 로그 수준이 되며, 이는 O(n log n)의 비교를 통해 효율적인 검색을 가능하게 하며, 진짜 최근접 이웃을 반환하는 실패 확률을 제한한다.

ABSTRACT

We consider machine learning in a comparison-based setting where we are given a set of points in a metric space, but we have no access to the actual distances between the points. Instead, we can only ask an oracle whether the distance between two points $i$ and $j$ is smaller than the distance between the points $i$ and $k$. We are concerned with data structures and algorithms to find nearest neighbors based on such comparisons. We focus on a simple yet effective algorithm that recursively splits the space by first selecting two random pivot points and then assigning all other points to the closer of the two (comparison tree). We prove that if the metric space satisfies certain expansion conditions, then with high probability the height of the comparison tree is logarithmic in the number of points, leading to efficient search performance. We also provide an upper bound for the failure probability to return the true nearest neighbor. Experiments show that the comparison tree is competitive with algorithms that have access to the actual distance values, and needs less triplet comparisons than other competitors.

연구 동기 및 목표

• 직접적인 거리 정보가 없이 삼중 비교만 가능한 환경에서 효율적인 데이터 구조를 개발하는 것.
• 강한 확장 조건 하에서 일반적인 거리 공간에서 비교 트리의 이론적 성능을 분석하는 것.
• 유럽형 기반 및 기타 비교 기반 방법과 비교하여 비교 트리의 실험적 효율성을 평가하는 것.
• 실제 적용에서 쿼리 정확도와 삼중 비교 횟수 사이의 상호 교환 관계를 정량화하는 것.

제안 방법

• 비교 트리는 두 개의 무작위 피벗 포인트를 선택하고, 각 포인트를 삼중 비교를 통해 더 가까운 피벗에 할당함으로써 데이터셋을 반복적으로 분할한다.
• 트리 구축 과정은 부분집합의 크기가 사전 정의된 크기 이하가 될 때까지 재귀적 분할을 반복한다.
• 이론적 분석은 강한 확장 조건에 기반하며, 이 조건은 메트릭 공간 내 공의 부피가 급격히 증가함을 보장하여 트리 깊이를 제한한다.
• 알고리즘의 최근접 이웃 검색은 각 노드에서 쿼리 포인트를 피벗 포인트들과 비교하면서 트리를 따라 내려가는 방식으로 진행된다.
• 이론적 가정을 검증하기 위해 실제 데이터셋에서의 경험적 확장률을 추정한다.
• 실험은 비교 트리가 KD-Tree, RP-Tree, PA-Tree, RCT 등과 여러 데이터셋에서 비교되며, 쿼리 오차와 삼중 비교 사용량을 측정한다.

실험 결과

연구 질문

• RQ1 메트릭 공간에서 어떤 조건이면 비교 트리가 높이가 로그 수준이 되며 높은 확률로 성립하는가?
• RQ2 비교 트리의 구축 및 쿼리에 필요한 삼중 비교 횟수는 기존 방법과 비교하여 어떻게 되는가?
• RQ3 직접적인 거리 접근이 없는 상황에서도 비교 트리가 경쟁 가능한 최근접 이웃 정확도를 달성할 수 있는가?
• RQ4 실제 데이터셋에서의 경험적 확장률은 분석에 사용된 이론적 가정과 어떻게 비교되는가?
• RQ5 최근접 이웃 검색의 실패 확률은 데이터셋 크기와 확장 파라미터에 따라 어떻게 변화하는가?

주요 결과

• 강한 확장 조건 하에서 비교 트리는 높이가 로그 수준이 되며, 이는 효율적인 검색 성능을 의미한다.
• 비교 트리의 구축은 O(n log n)의 삼중 비교를 필요로 하며, 비교 기반 방법 중 거의 최적에 가깝다.
• 진짜 최근접 이웃을 반환하는 실패 확률은 유계이며, 확장 상수 증가에 따라 감소한다.
• 경험적으로 비교 트리는 KD-Tree나 RP-Tree와 같은 유클리드 기반 방법과 경쟁 가능한 성능을 보이며, 비교만을 사용한다.
• 최근에 제안된 비교 기반 방법인 RCT와 비교해 볼 때, 비교 트리는 구축 단계에서 삼중 비교 횟수를 수십 배에서 수백 배 정도 줄였지만 유사한 쿼리 정확도를 유지한다.
• 경험적 확장률 추정 결과, 대부분의 실제 데이터셋(MNIST와 Gisette 제외)이 합리적인 작은 상수를 가진 요구 조건을 충족한다.