[논문 리뷰] Fast Online k-nn Graph Building

Thibault Debatty, Pietro Michiardi외 1명|arXiv (Cornell University)|2016. 02. 22.

Data Management and Algorithms참고 문헌 14인용 수 5

한 줄 요약

이 논문은 스트리밍 데이터에서 온라인으로 실시간으로 업데이트되는 k-nn 그래프를 효율적으로 구축할 수 있는 빠른 온라인 근사 k-nn 그래프 구축 알고리즘을 제안한다. 분산형 균형 잡힌 k-median 클러스터링을 사용하여 그래프를 분할하여 확장 가능한 이웃 검색을 구현하고, 분할 내에서 최적화된 순차적 검색을 적용하여 전수 검색 방법에 비해 유의미하게 적은 유사도 계산으로 높은 그래프 품질을 달성한다.

ABSTRACT

In this paper we propose an online approximate k-nn graph building algorithm, which is able to quickly update a k-nn graph using a flow of data points. One very important step of the algorithm consists in using the current distributed graph to search for the neighbors of a new node. Hence we also propose a distributed partitioning method based on balanced k-medoids clustering, that we use to optimize the distributed search process. Finally, we present the improved sequential search procedure that is used inside each partition. We also perform an experimental evaluation of the different algorithms, where we study the influence of the parameters and compare the result of our algorithms to existing state of the art. This experimental evaluation confirms that the fast online k-nn graph building algorithm produces a graph that is highly similar to the graph produced by an offline exhaustive algorithm, while it requires less similarity computations.

연구 동기 및 목표

• 스트리밍 데이터로부터 k-nn 그래프를 점진적으로 구축하는 데 높은 계산 비용을 해결하기 위해.
• 최소한의 유사도 계산으로 실시간으로 k-nn 그래프를 업데이트할 수 있도록 하기 위해.
• 동적 k-nn 그래프에서 빠른 최근접 이웃 검색을 위한 확장 가능하고 분산된 방법을 설계하기 위해.
• 온라인 근사로 인해도 오프라인 전수 방법과 비교해 유사한 그래프 품질을 유지하기 위해.

제안 방법

• 알고리즘은 분산형 균형 잡힌 k-median 클러스터링을 사용하여 k-nn 그래프를 상호배타적인 부분집합으로 분할하여 확장 가능한 검색을 구현한다.
• 각 분할은 새로운 점의 k개의 가장 가까운 이웃을 찾기 위해 개선된 순차적 그래프 기반 최근접 이웃 검색(iGNNS)을 사용한다.
• 분산 검색 과정은 그래프 구조와 분할 전략을 활용하여 분할 간 통신을 최소화한다.
• 이웃를 식별한 후, 알고리즘은 새로운 점이 기존 노드의 이웃가 되는 경우 해당 노드의 간선을 업데이트한다.
• 시스템은 데이터 드리프트에 대응하기 위해 주기적인 메디오드 재계산이 가능한 선택적 옵션을 포함한 점진적 그래프 구축을 지원한다.
• 이 방법은 유사도 측정 방식에 관계없이 적용 가능하여, 임의의 거리 척도 또는 비거리 척도 유사도 함수와 함께 작동한다.

실험 결과

연구 질문

• RQ1 분산형 온라인 k-nn 그래프 구축 알고리즘이 최소한의 유사도 계산으로 높은 성능을 달성할 수 있는가?
• RQ2 온라인 그래프의 품질은 오프라인 전수 기준과 비교해 어떻게 되는가?
• RQ3 분할 전략과 메디오드 재계산 빈도가 검색 정확도와 성능에 미치는 영향은 어떠한가?
• RQ4 데이터 볼륨과 분할 수가 증가함에 따라 알고리즘의 확장성은 어느 정도인가?

주요 결과

• 분산 온라인 알고리즘은 전수 검색 대비 4배 빠른 검색 속도를 달성하면서도 높은 그래프 품질을 유지한다.
• 합성 데이터셋에서 16,000개, SPAM 데이터셋에서 8,000개의 노드를 추가한 후 품질 요인 Q는 각각 합성 데이터셋에서 80% 이상, SPAM 데이터셋에서 70% 이상 유지되었다.
• 정적 데이터셋에서 메디오드 재계산은 최종 그래프 품질에 거의 영향을 주지 않아, 드물게 업데이트하는 것으로도 충분함을 시사한다.
• 알고리즘은 온라인 근사에도 불구하고 오프라인 전수 결과와 매우 유사한 그래프를 생성했으며, 품질 저하가 최소한이었다.
• SPAM 데이터셋의 경우 8개 이상, 합성 데이터셋의 경우 4개 이상의 분할을 사용할 경우 수익 감소와 정확도 저하가 발생했다.
• 순차적 iGNNS 방법은 높은 리콜을 달성했으며, 분산 검색은 순차 기준 대비 정확도가 약간 떨어지기만 했다.