[논문 리뷰] High-Dimensional Approximate Nearest Neighbor Search: with Reliable and Efficient Distance Comparison Operations

Jianyang Gao, Cheng Long|arXiv (Cornell University)|2023. 03. 17.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

이 논문은 고차원 근사 K-최근접 이웃(AKNN) 검색에서 거리 비교 연산(DCO)의 성능을 높이기 위해 전체 차원을 스캔하는 대신 로그적으로 차원을 샘플링하는 무작위 알고리즘인 ADSampling을 제안한다. 대부분의 경우 DCO 시간을 O(D)에서 O(log D)로 감소시켜 정확도 손실을 거의 느끼지 않으면서도 효율성을 크게 향상시키며, 이는 이론적 보장과 실험적 검증을 통해 입증된다.

ABSTRACT

Approximate K nearest neighbor (AKNN) search is a fundamental and challenging problem. We observe that in high-dimensional space, the time consumption of nearly all AKNN algorithms is dominated by that of the distance comparison operations (DCOs). For each operation, it scans full dimensions of an object and thus, runs in linear time wrt the dimensionality. To speed it up, we propose a randomized algorithm named ADSampling which runs in logarithmic time wrt to the dimensionality for the majority of DCOs and succeeds with high probability. In addition, based on ADSampling we develop one general and two algorithm-specific techniques as plugins to enhance existing AKNN algorithms. Both theoretical and empirical studies confirm that: (1) our techniques introduce nearly no accuracy loss and (2) they consistently improve the efficiency.

연구 동기 및 목표

• 고차원 공간에서 비용이 많이 드는 거리 비교 연산(DCO)으로 인한 AKNN 검색의 성능 저하 문제를 해결하기 위해.
• 대부분의 연산에서 DCO의 시간 복잡도를 O(D)에서 O(log D)로 감소시키면서도 높은 정확도를 유지하기 위해.
• 기존 AKNN 알고리즘의 정확도를 훼손하지 않고도 일반적이고 알고리즘 특화된 기법들을 ADSampling 기반으로 개발하기 위해.
• 제안된 DCO 가속화 방법의 효율성과 신뢰성에 대한 이론적 보장과 실험적 검증을 제공하기 위해.

제안 방법

• ADSampling은 무작위 투영과 순차적 가설 검정을 사용하여 샘플링된 차원을 통해 거리를 추정함으로써 전체 차원 계산을 피한다.
• 근접성 부등식을 적용하여 근사 오차의 범위를 제한함으로써 최소한의 샘플링으로도 높은 확률로 정확한 결과를 보장한다.
• 샘플링 결과가 임계값을 초과하면 거리가 임계값을 넘는 것으로 판단하고 조기에 종료함으로써 양성 및 음성 객체를 구분한다.
• 표준 DCO를 가속화된 버전으로 교체함으로써 ADSampling을 어떤 AKNN 알고리즘에도 일반적으로 통합할 수 있는 플러그인 기법을 제공한다.
• 그래프 기반 방법(예: HNSW)과 벡터 양자화(예: IVF)에 특화된 두 가지 알고리즘 특화 기법을 설계하여 고유한 후보 생성 패턴에 최적화하였다.
• 벡터 정규화 및 변환을 통해 코사인 유사도 및 내적 비교로의 확장도 지원한다.

실험 결과

연구 질문

• RQ1 고차원 AKNN 검색에서 거리 비교 연산(DCO)을 상당한 정확도 손실 없이 가속화할 수 있는가?
• RQ2 샘플링 기반 방법이 DCO에 대해 O(log D) 시간 복잡도를 달성하면서도 높은 성공 확률을 유지할 수 있는가?
• RQ3 ADSampling을 다양한 AKNN 알고리즘을 향상시키기 위한 일반적인 플러그인으로 통합할 수 있는가?
• RQ4 ADSampling을 사용했을 때 AKNN 검색의 전체 효율성에 미치는 이론적 및 실험적 영향은 어떠한가?
• RQ5 제안된 방법을 코사인 유사도 및 내적 비교와 같은 다른 유사도 측정법으로 확장할 수 있는가?

주요 결과

• ADSampling은 대부분의 연산에서 DCO의 시간 복잡도를 O(D)에서 O(log D)로 감소시켜 실질적으로 로그 성능을 달성한다.
• DEEP 데이터셋(256차원)에서 HNSW의 경우 DCO가 총 실행 시간의 77.2%를 차지했으나, ADSampling을 적용함으로써 크게 감소시켰다.
• 제안된 기법은 정확도 손실이 극히 미미하여 평가된 모든 데이터셋과 알고리즘에서 KNN 품질에 눈에 띄는 하락이 없었다.
• 실험 결과, HNSW, IVF 및 그래프 기반 방법을 포함한 여러 AKNN 알고리즘에서 일관된 성능 향상이 관찰되었다.
• 이론적 분석을 통해 ADSampling이 높은 확률로 성공하고, 데이터에 대한 특별한 가정 없이도 오차가 유한하게 유지됨을 확인하였다.
• 간단한 벡터 변환을 통해 코사인 유사도 및 내적 비교로의 확장이 가능하여 적용 범위가 넓어졌다.