[論文レビュー] Randomized Near Neighbor Graphs, Giant Components, and Applications in Data Science

George C. Linderman, Gal Mishne+2 more|PubMed|Nov 13, 2017

Random Matrices and Applications参考文献 25被引用数 4

ひとこと要約

本稿では、各点をそのk近傍の小さなランダムサブセットに接続することで、k近傍グラフのランダムスパース化を提案する。これにより、O(n log n)からO(n log log n)にエッジ数が著しく削減される。この手法は、高確率で巨大連結成分の接続性を維持するため、幾何的忠実性を損なわずにデータサイエンスの応用における計算を高速化できる。

ABSTRACT

If we pick <i>n</i> random points uniformly in [0, 1] ^<i>d</i> and connect each point to its <i>c</i> _<i>d</i> log <i>n</i>-nearest neighbors, where <i>d</i> ≥ 2 is the dimension and <i>c</i> _<i>d</i> is a constant depending on the dimension, then it is well known that the graph is connected with high probability. We prove that it suffices to connect every point to <i>c</i> _<i>d</i>,1 log log <i>n</i> points chosen randomly among its <i>c</i> _<i>d</i>,2 log <i>n</i>-nearest neighbors to ensure a giant component of size <i>n</i> - <i>o</i>(<i>n</i>) with high probability. This construction yields a much sparser random graph with ~ <i>n</i> log log <i>n</i> instead of ~ <i>n</i> log <i>n</i> edges that has comparable connectivity properties. This result has nontrivial implications for problems in data science where an affinity matrix is constructed: instead of connecting each point to its <i>k</i> nearest neighbors, one can often pick <i>k</i>' ≪ <i>k</i> random points out of the <i>k</i> nearest neighbors and only connect to those without sacrificing quality of results. This approach can simplify and accelerate computation; we illustrate this with experimental results in spectral clustering of large-scale datasets.

研究の動機と目的

• 高次元データサイエンス応用における密なk近傍グラフの計算非効率性に対処すること。
• k-NN集合内の近傍をランダムにサブサンプリングすることで、エッジ数を著しく削減しながらもグローバルな接続性を維持できるかを調査すること。
• ランダム化近傍グラフが高確率で巨大連結成分を保つための理論的条件を確立すること。
• アフィニティ行列構築やスペクトルクラスタリングにおける高速計算を可能にする、標準k-NNグラフの実用的代替を提供すること。
• [0,1]^d上のランダム幾何グラフにおけるスパarsityと接続性のトレードオフを定量化すること。

提案手法

• 点が[0,1]^d上に一様i.i.d.に抽出された場合、各点のc_d,2 log n個の近隣からc_d,1 log log n個のランダム近隣を選んで接続することでランダムグラフを構築する。
• 点過程をポアソン過程の近似でモデル化し、高確率で一様抽出と漸近的に同等となるようにする。
• 連結成分の分離確率を制御するために、和集合の不等式と成分分離に関する確率的バウンドを適用する。
• Erdős–Rényi型の議論を用いて、分離確率の上限を導出し、nに関して多項式的に減少することを示す。
• 成分サイズの和における連続項の比分析を用いて、分離確率の尾部を支配する。
• eの近似および指数成長率の近似を用いて、分離確率の漸近的バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 k近傍グラフを、その近隣のランダムサブセットに接続することでスパース化できるか？ その際、巨大連結成分を維持できるか？
• RQ2 各点が高確率でn - o(n)サイズの巨大連結成分を保つために、最低限必要なランダム近隣接続数はどれくらいか？
• RQ3 このようなランダム化グラフのエッジ数は、標準k-NNグラフと比べてスパarsityと接続性の観点でどのように異なるか？
• RQ4 決定的k-NN接続をk-NN集合からのランダム選択に置き換えた場合の接続性に関する理論的保証は何か？
• RQ5 このスパース化技術は、アフィニティ行列における幾何的忠実性を劣化させることなく、どの程度データサイエンスワークフローの高速化を実現できるか？

主な発見

• 各点をそのc_d,2 log n個の近隣の中からc_d,1 log log n個のランダムに選ばれた近隣に接続するだけで、高確率でn - o(n)サイズの巨大連結成分を保証できる。
• 得られるグラフはO(n log log n)エッジを有し、標準k-NNグラフのO(n log n)エッジと比べて顕著な削減が達成される。
• 各ノードがk個のランダム近隣に接続する場合、分離確率はO(1/n^{(k-1)(k+1)})として減少する。これは高い接続性のロバストネスを示している。
• 固定されたkに対して、[0,1]^d上でのk-NNグラフにおける連結成分の期待数は漸近的にc_d,k · nであり、c_d,kはdとkとともに急速に減少する。
• k-NNグラフにおける連結成分の期待直径はO(n^{-1/d})であり、最近傍スケールでの局所的クラスタリングを示している。
• 数値例では、k-NN集合からk' ≪ k個のランダム近隣を選択することで、性能を維持しつつデータサイエンスタスクにおける計算を加速できることを示している。