[論文レビュー] Diffusion Maps, Spectral Clustering and Eigenfunctions of Fokker-Planck operators

Boaz Nadler, Stéphane Lafon+2 more|ArXiv.org|Jun 6, 2005

Complex Network Analysis Techniques参考文献 27被引用数 303

ひとこと要約

本稿は、正規化グラフラプラシアンの固有ベクトルを用いてスペクトルクラスタリングおよび次元削減を解釈する確率的拡散枠組みを導入する。この枠組みでは、反射境界を持つフォッカー・プランク作用素の固有関数の近似として、固有ベクトルが解釈される。拡散マップ（最初のk個の固有ベクトルを用いる）が、平均二乗誤差基準において最適であることが確立され、スペクトルクラスタリングの理論的基盤が、確率過程における準安定状態および平均抜去時間と固有構造を結びつけることで提供される。

ABSTRACT

This paper presents a diffusion based probabilistic interpretation of spectral clustering and dimensionality reduction algorithms that use the eigenvectors of the normalized graph Laplacian. Given the pairwise adjacency matrix of all points, we define a diffusion distance between any two data points and show that the low dimensional representation of the data by the first few eigenvectors of the corresponding Markov matrix is optimal under a certain mean squared error criterion. Furthermore, assuming that data points are random samples from a density $p(\x) = e^{-U(\x)}$ we identify these eigenvectors as discrete approximations of eigenfunctions of a Fokker-Planck operator in a potential $2U(\x)$ with reflecting boundary conditions. Finally, applying known results regarding the eigenvalues and eigenfunctions of the continuous Fokker-Planck operator, we provide a mathematical justification for the success of spectral clustering and dimensional reduction algorithms based on these first few eigenvectors. This analysis elucidates, in terms of the characteristics of diffusion processes, many empirical findings regarding spectral clustering algorithms.

研究の動機と目的

• データグラフ上の拡散過程を用いて、スペクトルクラスタリングおよび次元削減の確率的解釈を提供すること。
• 拡散距離に基づく平均二乗誤差基準に関して、マーチン行列の最初のいくつかの固有ベクトルによる低次元埋め込みが最適であることを確立すること。
• 有限マーチン行列の固有ベクトルが、密度モデル下で、連続的フォッカー・プランク作用素の固有関数の離散的近似であることを示すこと。
• フォッカー・プランク作用素の固有値および固有関数を通じて、データの幾何学的構造と密度を、スペクトルクラスタリングの性能と結びつけること。
• 確率的力学系における準安定状態および平均抜去時間の観点から、スペクトルクラスタリングの実験的成功を説明すること。

提案手法

• ガウスカーネルと次数正規化から導かれる遷移行列Mを用いて、グラフ上のランダムウォークに基づくデータポイント間の拡散距離を定義する。
• マーチン行列Mの最初のk個の固有ベクトルからなる拡散マップが、この拡散距離に関して平均二乗誤差基準において最適であることを示す。
• 有界領域上に存在する密度p(x) = e^{-U(x)}からのi.i.d.標本としてのデータポイントをモデル化し、ポテンシャル2U(x)および反射境界条件を有するフォッカー・プランク作用素を導出する。
• データポイント数が増加する極限において、有限行列Mの固有ベクトルが連続的フォッカー・プランク作用素の固有関数に収束することを確立する。
• フォッカー・プランク作用素の固有値および固有関数に関する既知の漸近的結果を用いて、スペクトルギャップおよび固有ベクトル構造を、準安定状態およびクラスタ分離の観点から解釈する。
• 固有値のギャップλ_kとλ_{k+1}の間の差が、k個の明確に分離されたクラスタの存在を示しており、固有関数が各クラスタ内でほぼ定数関数に近似されることを示す。

実験結果

リサーチクエスチョン

• RQ1 データグラフ上の確率的拡散過程を通じて、スペクトルクラスタリングおよび次元削減をどのように解釈できるか？
• RQ2 正規化グラフラプラシアンの最初のいくつかの固有ベクトルによって定義される拡散マップが、低次元表現においてなぜ最適なのか？
• RQ3 大規模データ極限において、有限マーチン行列の固有ベクトルが近似する連続的作用素は何か？
• RQ4 フォッカー・プランク作用素の固有値および固有関数は、スペクトルクラスタリングアルゴリズムの実験的成功をどのように説明するか？
• RQ5 スペクトルクラスタリング、準安定状態、および確率的力学系における平均抜去時間の関係は何か？

主な発見

• マーチン行列Mの最初のk個の固有ベクトルを用いる拡散マップは、ポイント間の拡散距離に基づく平均二乗誤差基準において最適である。
• データ数が大きい極限において、有限行列Mの固有ベクトルは、ポテンシャル2U(x)および反射境界条件を有するフォッカー・プランク作用素の固有関数の離散的近似である。
• Mの固有値におけるスペクトルギャップ（特にλ_kとλ_{k+1}の差）が大きいことは、k個の明確に分離されたクラスタの存在を示しており、固有関数は各クラスタ内でほぼ定数関数に近い。
• 小さなノイズ極限において、フォッカー・プランク作用素の最小非ゼロ固有値μ_1は、準安定状態からの平均抜去時間と逆比例する。これにより、スペクトル構造と力学的時間スケールが結びつけられる。
• 一様密度でさえも、幾何的ブottleneck（例：細いチューブ）が存在すれば、スペクトルギャップを生じさせ、Cheeger定数との関連で、領域の幾何構造そのものによってクラスタ構造が生じることを示す。
• フォッカー・プランク作用素の最初の固有関数は、各クラスタ内でほぼ定数関数に近いが、境界で急峻な遷移を示し、これがクラスタリングにおけるその有用性を説明する。