[論文レビュー] k-NN Graph Construction: a Generic Online Approach.

Wan‐Lei Zhao|arXiv (Cornell University)|Apr 9, 2018

Advanced Image and Video Retrieval Techniques参考文献 33被引用数 4

ひとこと要約

本稿では、進化する構造上で最近傍照会を繰り返し行うことで、k-NN探索とグラフ構築を統合的に解く汎用的なオンラインk-NNグラフ構築手法を提案する。この手法は動的更新をサポートし、任意の距離尺度で動作し、多様なデータセットおよび次元で優れた性能を示す。

ABSTRACT

Nearest neighbor search and k-nearest neighbor graph construction are two fundamental issues arise from many disciplines such as information retrieval, data-mining, machine learning and computer vision. Despite continuous efforts have been taken in the last several decades, these two issues remain challenging. They become more and more imminent given the big data emerges in various fields and has been expanded significantly over the years. In this paper, a simple but effective solution both for k-nearest neighbor search and k-nearest neighbor graph construction is presented. Namely, these two issues are addressed jointly. On one hand, the k-nearest neighbor graph construction is treated as a nearest neighbor search task. Each data sample along with its k-nearest neighbors are joined into the k-nearest neighbor graph by sequentially performing the nearest neighbor search on the graph under construction. On the other hand, the built k-nearest neighbor graph is used to support k-nearest neighbor search. Since the graph is built online, dynamic updating of the graph, which is not desirable from most of the existing solutions, is supported. Moreover, this solution is feasible for various distance measures. Its effectiveness both as a k-nearest neighbor construction and k-nearest neighbor search approach is verified across various datasets in different scales, various dimensions and under different metrics.

研究の動機と目的

• 情報検索、機械学習、コンピュータビジョンなど、多様な分野におけるビッグデータ時代におけるk-NN探索およびk-NNグラフ構築の課題の増大に対処する。
• 動的更新をサポートしない、特定の距離尺度に限定される既存のバッチ処理手法の限界を克服する。
• k-NNグラフ構築を、進化するグラフ上の連続する最近傍照会のシーケンスとして扱う統合的でオンラインなアプローチを構築し、リアルタイムでの適応性を実現する。
• 距離比較に依存する設計により、任意の距離尺度と互換性を持たせ、異種のデータタイプおよびアプリケーションシナリオへの応用可能性を高める。

提案手法

• 各データポイントを処理することでk-NNグラフを段階的に構築し、現在のグラフ上で最近傍探索を実行してそのk個の最近傍を特定する。
• 構築過程における進化するk-NNグラフを動的インデックス構造として活用し、以降の最近傍照問を高速化する。
• 新しいポイントの挿入と、グラフの成長に伴う既存の近傍の再計算を可能にするオンライン更新をサポートする。
• 最近傍探索のための基盤データ構造として、グラフ構造自体を活用することで、別個のインデキシングの必要性を排除する。
• 距離比較にのみ依存する設計により、距離測定の種類に依存しない実装を実現し、任意の距離尺度との互換性を確保する。
• 各挿入後にグラフ全体を再計算する高コスト処理を回避することで、効率性とスケーラビリティを維持する。

実験結果

リサーチクエスチョン

• RQ1 k-NNグラフ構築とk-NN探索を、動的更新をサポートする単一のオンラインプロセスに統合できるか？
• RQ2 本手法の性能は、さまざまなデータスケールおよび次元における既存のバッチ処理k-NNグラフ構築手法と比較してどのように異なるか？
• RQ3 アルゴリズムの再構成を要せず、異なる距離尺度にわたってどの程度一般化可能か？
• RQ4 静的またはバッチ再構築手法と比較して、本手法のオンライン性が、新規データ受領時の効率的かつスケーラブルな更新をどの程度可能にするか？

主な発見

• 本手法は、グラフ構築プロセスを進化する構造上の連続する最近傍照問のシーケンスとして扱うことで、効果的なk-NNグラフ構築を実現する。
• 既存の多くが完全な再構築を要するのとは異なり、オンライン構築メカニズムのおかげで、動的更新を自然にサポートする。
• 距離測定の種類に依存しない設計により、ハードコードされた仮定を一切含まず、任意の距離尺度に普遍的に適用可能である。
• 実験的評価により、スケール、次元、距離尺度が異なるデータセットにおいて本手法の有効性が確認され、頑健な性能を示した。
• オンラインで構築されたk-NNグラフは、k-NN探索の有効なインデックスとして機能し、照会時間を短縮するとともにスケーラビリティを向上させる。