[논문 리뷰] k-NN Graph Construction: a Generic Online Approach.

Wan‐Lei Zhao|arXiv (Cornell University)|2018. 04. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 33인용 수 4

한 줄 요약

이 논문은 변화하는 구조에서 최근접 이웃 쿼리를 반복적으로 수행함으로써 k-NN 검색과 그래프 구축을 동시에 해결하는 일반적인 온라인 k-NN 그래프 구축 방법을 제안한다. 이 방법은 동적 업데이트를 지원하며, 어떤 거리 측정 방식과도 호환되며, 다양한 데이터셋과 차원에서 뛰어난 성능을 보인다.

ABSTRACT

Nearest neighbor search and k-nearest neighbor graph construction are two fundamental issues arise from many disciplines such as information retrieval, data-mining, machine learning and computer vision. Despite continuous efforts have been taken in the last several decades, these two issues remain challenging. They become more and more imminent given the big data emerges in various fields and has been expanded significantly over the years. In this paper, a simple but effective solution both for k-nearest neighbor search and k-nearest neighbor graph construction is presented. Namely, these two issues are addressed jointly. On one hand, the k-nearest neighbor graph construction is treated as a nearest neighbor search task. Each data sample along with its k-nearest neighbors are joined into the k-nearest neighbor graph by sequentially performing the nearest neighbor search on the graph under construction. On the other hand, the built k-nearest neighbor graph is used to support k-nearest neighbor search. Since the graph is built online, dynamic updating of the graph, which is not desirable from most of the existing solutions, is supported. Moreover, this solution is feasible for various distance measures. Its effectiveness both as a k-nearest neighbor construction and k-nearest neighbor search approach is verified across various datasets in different scales, various dimensions and under different metrics.

연구 동기 및 목표

• 정보 검색, 머신러닝, 컴퓨터 비전과 같은 다양한 분야에서 빅데이터 시대의 k-NN 검색 및 k-NN 그래프 구축 문제 해결에 대비한다.
• 기존의 배치 기반 방법이 동적 업데이트를 지원하지 못하고 특정 거리 측정 방식에 국한되는 등의 한계를 극복한다.
• k-NN 그래프 구축을 변화하는 그래프에서의 최근접 이웃 쿼리 시퀀스로 간주함으로써 실시간 적응성을 보장하는 통합된 온라인 접근법을 개발한다.
• 근본적으로 거리 비교에 의존하므로, 임의의 거리 측정 방식과 호환되며 이는 이질적인 데이터 유형과 응용 시나리오에 대한 적용 가능성 향상에 기여한다.

제안 방법

• 각 데이터 포인트를 처리하면서 현재 그래프에서 최근접 이웃 검색을 수행하여 k개의 최근접 이웃를 식별함으로써 k-NN 그래프를 점진적으로 구축한다.
• 구축 과정 중 후속 최근접 이웃 쿼리를 가속화하기 위해 변화하는 k-NN 그래프를 동적 색인 구조로 활용한다.
• 그래프가 성장함에 따라 새로운 포인트를 삽입하고 기존 이웃를 재계산할 수 있도록 온라인 업데이트를 지원한다.
• 최근접 이웃 검색을 위한 기초 데이터 구조로 그래프 구조 자체를 활용함으로써 별도의 색인 구조가 필요 없도록 한다.
• 근본적으로 거리 비교에 의존하므로, 이웃 검색 및 그래프 구축 과정에서 거리 측정 방식에 대한 하드코딩된 가정 없이도 임의의 거리 측정 방식과 호환된다.
• 각 삽입 후 전체 그래프를 재계산하는 데 드는 비용을 피함으로써 효율성과 확장성을 유지한다.

실험 결과

연구 질문

• RQ1 k-NN 그래프 구축과 k-NN 검색을 동적 업데이트를 지원하는 단일 온라인 프로세스로 효과적으로 통합할 수 있는가?
• RQ2 제안된 방법의 성능이 다양한 데이터 크기와 차원에서 기존의 배치 기반 k-NN 그래프 구축 기법과 비교해 어떻게 되는가?
• RQ3 알고리즘 재구성 없이도 다양한 거리 측정 방식에 대해 얼마나 잘 일반화되는가?
• RQ4 기존의 정적 또는 배치 재빌드 방식에 비해, 이 온라인 방식이 새로운 데이터 도착 시 효율적이고 확장 가능한 업데이트를 어떻게 지원하는가?

주요 결과

• 제안된 방법은 변화하는 구조에서의 최근접 이웃 쿼리 시퀀스로 간주함으로써 효과적인 k-NN 그래프 구축을 달성한다.
• 기존의 대부분의 방법이 전체 재빌드가 필요로 하는 것과 달리, 온라인 구축 메커니즋试로 인해 동적 업데이트를 자연스럽게 지원한다.
• 구체적인 거리 측정 방식에 대한 알고리즘 재구성 없이도, 거리 비교에 의존하기 때문에 모든 거리 측정 방식과 보편적으로 호환된다.
• 실험적 평가를 통해 다양한 크기, 차원, 거리 측정 방식을 가진 데이터셋에서의 효과성을 확인하였으며, 강력한 성능을 보였다.
• 온라인으로 구축된 k-NN 그래프는 k-NN 검색을 위한 효과적인 색인으로 기능하여 쿼리 시간을 단축하고 확장성을 향상시켰다.