[論文レビュー] Shortest path distance in random k-nearest neighbor graphs

Morteza Alamgir, Ulrike von Luxburg|arXiv (Cornell University)|Jun 27, 2012

Data Management and Algorithms参考文献 12被引用数 16

ひとこと要約

本稿は、R^d における i.i.d. ランダム標本から構築された k 近傍 (kNN) グラフにおける最短経路距離の漸近的挙動を分析する。重みなし kNN グラフは低密度領域を好む極限距離を誘導し、これは多様体構造を歪める反直観的な経路選択を引き起こす。したがって、密度に基づく距離を適切に反映しない限り、多様体学習や半教師付き学習には不適切である。

ABSTRACT

Consider a weighted or unweighted k-nearest neighbor graph that has been built on n data points drawn randomly according to some density p on R^d. We study the convergence of the shortest path distance in such graphs as the sample size tends to infinity. We prove that for unweighted kNN graphs, this distance converges to an unpleasant distance function on the underlying space whose properties are detrimental to machine learning. We also study the behavior of the shortest path distance in weighted kNN graphs.

研究の動機と目的

• 標本サイズ n → ∞ の際、ランダム kNN グラフにおける最短経路距離が誘導する幾何的性質を理解すること。
• 重みなし kNN グラフがなぜ高密度領域を避ける反直観的な最短経路を生成するかを調査すること。
• 異なるエッジ重み関数における重み付き kNN グラフの最短経路距離の極限を特徴づけること。
• グラフベースの機械学習アルゴリズムにおける適切なエッジ重みの選択の理論的基盤を提供すること。
• 重みなし kNN グラフが多様体学習（例：Isomap）および半教師付き学習に与える影響を強調すること。

提案手法

• 最短経路距離をエッジの数（重みなし）または重みの合計（重み付き）として最小パス長として形式化する。
• パスの f-長さを、f(x) = p(x)^{1/d} と関連する密度に基づく関数として、線積分 ∫γ f(γ(t)) |γ′(t)| dt として定義する。
• kNN グラフ構造およびエッジ重み関数の漸近的性質を用いて、n → ∞ の際の最短経路距離の極限を分析する。
• エッジ重み関数 h(x) を、下加重、加法的、上加重の3つのレジームに分類し、最短経路距離の収束挙動を特定する。
• h(x) = 1（重みなし kNN）の場合、q(x) = p(x)^{1/d} のスケーリングにより、極限距離が低密度領域を好むことを証明する。
• h(x) = ||x−y|| の場合、f(x) = p(x)^{1/d} における f-距離の下で最短経路距離が測地線距離に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 重みなし kNN グラフにおける最短経路距離は、標本サイズ n → ∞ の際にどのように振る舞うか？
• RQ2 エッジ重み h(||xi−xj||) を持つ重み付き kNN グラフにおいて、最短パスが誘導する極限距離関数は何か？
• RQ3 なぜ重みなし kNN グラフにおける最短パスは、高密度領域を避けるのか（迂回路を取るにもかかわらず）？
• RQ4 重みなしと重み付き kNN グラフの選択が、Isomap や半教師付き学習の性能にどのように影響するか？
• RQ5 明示的な密度推定なしに、意味のある密度に依存する距離に収束するグラフベースの距離を構築できるか？

主な発見

• 重みなし kNN グラフにおいて、最短経路距離は低密度領域を好む極限距離に収束し、高密度領域はペナルティを受ける。
• この極限距離は測地線距離やユークリッド距離ではなく、密度関数 p(x) に依存する関数 q(x) = p(x)^{1/d} として特定される。
• その結果、重みなし kNN グラフにおける最短パスは、直感に反して高密度領域を避け、大きな迂回路を取る。
• 多様体学習（例：Isomap）においては、高密度領域が引き伸ばされ、低密度領域が圧縮される深刻な歪みが生じる。
• 半教師付き学習においては、重みなし kNN に基づく距離は、高密度領域における近接性を保証しないため、自然なクラスタ構造を反映しない。
• h(x) = ||x−y|| の重み付き kNN グラフは、f(x) = p(x)^{1/d} における f-距離の下で測地線距離に収束するため、密度に依存する学習に適している。