[論文レビュー] A new near-linear time algorithm for k-nearest neighbor search using a compressed cover tree

Yury Elkin, Vitaliy Kurlin|arXiv (Cornell University)|Nov 30, 2021

Computational Geometry and Mesh Generation被引用数 5

ひとこと要約

本稿では、参照集合やクエリ集合のサイズに依存しない最小化拡張定数 cₘ(R) に依存する隠れ係数を持つ、近線形時間 O(m(k + log n) log k) で正確な k-近傍探索を可能にする新しい圧縮カバー木データ構造を提示する。この手法は、先行のカバー木構築法を単純化し、時間計算量の上限を厳密に証明し、度解析的性質を用いた k-NN アルゴリズムの理論的分析における長年のギャップを解消する。

ABSTRACT

Given a reference set $R$ of $n$ points and a query set $Q$ of $m$ points in a metric space, this paper studies an important problem of finding $k$-nearest neighbors of every point $q \in Q$ in the set $R$ in a near-linear time. In the paper at ICML 2006, Beygelzimer, Kakade, and Langford introduced a cover tree on $R$ and attempted to prove that this tree can be built in $O(n\log n)$ time while the nearest neighbor search can be done in $O(n\log m)$ time with a hidden dimensionality factor. This paper fills a substantial gap in the past proofs of time complexity by defining a simpler compressed cover tree on the reference set $R$. The first new algorithm constructs a compressed cover tree in $O(n \log n)$ time. The second new algorithm finds all $k$-nearest neighbors of all points from $Q$ using a compressed cover tree in time $O(m(k+\log n)\log k)$ with a hidden dimensionality factor depending on point distributions of the given sets $R,Q$ but not on their sizes.

研究の動機と目的

• カバー木を用いた k-近傍探索アルゴリズムの理論的時間計算量の証明における未解決のギャップを解消すること。
• 重複するデータポイントを回避し、構築と探索を簡素化する、簡素化された圧縮カバー木構造を開発すること。
• k-NN 検索が、最小化拡張定数 cₘ(R) に依存する隠れ係数を持つ近線形時間 O(m(k + log n) log k) で実行可能であることを厳密に証明すること。
• 最小化拡張定数 cₘ(R) を導入することで、c(R) よりもデータの内在的構造をより適切に反映する新しい理論的基盤を確立すること。
• 大規模な材料データベースにおける完全不変量（例：PDD（点距離分布））の、証明可能な高速計算を可能にすること。

提案手法

• 重複する点の表現を排除する新しい圧縮カバー木構造を導入し、木の構築と探索を簡素化する。
• 最小化拡張定数 cₘ(R) を、R のすべての局所的に有限な上位集合 A における、t → 0 のときの比 |B(p,2t) ∩ A| / |B(p,t) ∩ A| の上限の下限として定義し、データの複雑さに対するより鋭い境界を提供する。
• 半径を段階的に小さくする階層的クラスタリングを用いて、O(n log n) 時間で圧縮カバー木を構築し、各レベルでスパarsity とカバー範囲を保証する。
• 根から木をたどりながら k-NN 検索を実行し、最近隣接点までの距離が k 番目の近傍点までの距離を上回る部分木はプルーニングする。この際、cₘ(R) 要因を用いてノード探索の範囲を制御する。
• 各レベルにおける候補点の数を制御するため、|Rᵢ| ≤ (cₘ(R))⁴⁺ᶜˡᵒ𝓰₂⁽²⁺¹⁄ₑ⁾ の境界を適用し、近線形時間計算量を保証する。
• 任意の有限部分集合 R ⊂ ℝⁿ に対して cₘ(R) ≤ 2ⁿ が成り立つことを示し、低次元空間においてこの手法が効率的であることを示す。

実験結果

リサーチクエスチョン

• RQ1 重複のない圧縮カバー木を、O(n log n) 時間で構築しつつ、近線形時間で k-NN 検索を実行できるか？
• RQ2 最小化拡張定数 cₘ(R) は、古典的拡張定数 c(R) よりも、k-NN 検索の複雑さをより鋭く、正確に反映する境界を提供するか？
• RQ3 先行研究の非形式的または不完全な議論に依存せずに、k-NN 検索の理論的時間計算量を厳密に証明できるか？
• RQ4 圧縮カバー木を用いることで、参照集合およびクエリ集合のサイズに依存しない近線形時間計算量を達成できるか？
• RQ5 新しい手法により、大規模な材料データベースにおける完全不変量（例：PDD）の実用的かつ証明可能な高速計算が可能になるか？

主な発見

• 圧縮カバー木は O(n log n) 時間で構築可能であり、これにより先行手法の構築を大幅に単純化し、重複を排除する。
• k-NN 検索アルゴリズムは、|R| や |Q| に依存しない最小化拡張定数 cₘ(R) に依存する隠れ係数を持つ O(m(k + log n) log k) 時間で実行可能である。
• 本稿では、任意の有限部分集合 R ⊂ ℝⁿ に対して cₘ(R) ≤ 2ⁿ が成り立つことを証明し、二重次元数の概念と整合する理論的上限を提供する。
• Beygelzimer ら (2006)、Ram ら (2009)、March ら (2010) の先行研究における長年のギャップ（計算量解析が不完全）を解消した。
• アルゴリズムにより、660,000 個を超える周期的結晶の PDD 不変量が、デスクトップコンピュータで 2 日未満で計算可能となり、従来のツールでは 34,000 年かかると予想されていた作業を大幅に短縮した。
• 従来手法と比較して 10⁶ 倍以上の高速化を達成し、実世界の材料科学応用における実用的スケーラビリティを実証した。