[論文レビュー] Geometric structure of graph Laplacian embeddings

Nicolás García Trillos, Franca Hoffmann+1 more|arXiv (Cornell University)|Jan 30, 2019

Topological and Geometric Data Analysis参考文献 13被引用数 9

ひとこと要約

本稿は、多様体上の良好に分離された混合モデルのもとで、グラフラプラシアン埋め込みが低次元空間における直交する円錐に集中することを確立し、スペクトルクラスタリングの成功を保証する。連続極限と最適輸送を用いて、nが増加する際に接続スケールεが十分にゆっくり減少する場合、高確率で埋め込みデータ点がk-meansクラスタリングに適した構造を形成することを証明する。

ABSTRACT

We analyze the spectral clustering procedure for identifying coarse structure in a data set $x_1, \dots, x_n$, and in particular study the geometry of graph Laplacian embeddings which form the basis for spectral clustering algorithms. More precisely, we assume that the data is sampled from a mixture model supported on a manifold $\mathcal{M}$ embedded in $\mathbb{R}^d$, and pick a connectivity length-scale $\varepsilon>0$ to construct a kernelized graph Laplacian. We introduce a notion of a well-separated mixture model which only depends on the model itself, and prove that when the model is well separated, with high probability the embedded data set concentrates on cones that are centered around orthogonal vectors. Our results are meaningful in the regime where $\varepsilon = \varepsilon(n)$ is allowed to decay to zero at a slow enough rate as the number of data points grows. This rate depends on the intrinsic dimension of the manifold on which the data is supported.

研究の動機と目的

• 非連結な多様体を超えるスペクトルクラスタリングにおけるグラフラプラシアン埋め込みの幾何的構造を理解すること。
• グラフ構築パラメータ（ε やカーネルの選択）に依存しない、データ分布にのみ依存する「良好に分離された」混合モデルの定式化。
• このような良好に分離されたモデルのもとで、ラプラシアン埋め込みが埋め込み空間に直交する円錐構造を誘導することを示すこと。
• 最適輸送およびPDE技法を用いて、連続スペクトル幾何学と離散的グラフラプラシアンを橋渡しすること。
• 埋め込みデータ上のk-meansクラスタリングが、元のデータの粗い構造を正しく同定するための条件を確立すること。

提案手法

• 多様体上の混合測度を用いたラプラシアン＝ベルトラミ作用素を用いた、グラフラプラシアン埋め込みの連続的類似を導入する。
• カーネルの選択に依存しない、元の測度の幾何的・スペクトル的性質に基づく「良好に分離された」混合モデルを定義する。
• 最適輸送とウォッシャーマン距離を用いて、離散的埋め込み測度とその連続極限を比較する。
• 楕円型作用素のスペクトル解析およびPDE技法を用いて、連続ラプラシアンの低エネルギー固有関数を特徴付ける。
• 適切なスケーリングのもとで、グラフラプラシアンと連続ラプラシアンの固有値の間の近似誤差バウンドを確立する。
• 最近のグラフラプラシアンの収束結果を活用し、離散的埋め込みを連続極限に結びつける。これにより、直交する円錐への集中を証明する。

実験結果

リサーチクエスチョン

• RQ1 データが多様体上の混合モデルから抽出された場合、グラフラプラシアン埋め込みがどの条件下で直交する円錐構造に集中するか。
• RQ2 グラフ構築パラメータ（ε やカーネルの選択）に依存しない、混合モデルの「良好に分離された」性質をどのように内因的に定義できるか。
• RQ3 離散的グラフラプラシアンのスペクトル埋め込みと、多様体上の連続ラプラシアンとの関係は何か。
• RQ4 nが増加する際に接続スケールεがどのくらいの速さで減少すれば、埋め込みにおける直交する円錐構造が保たれるか。
• RQ5 直交する円錐構造が、埋め込みデータ上のk-meansクラスタリングが混合モデルの真の成分を回復する確率にどの程度寄与するか。

主な発見

• 混合モデルが良好に分離されている場合、グラフラプラシアン埋め込みは高確率で、直交するベクトルを軸とする直交する円錐に集中する。
• 離散的および連続的ラプラシアン固有関数間の埋め込み誤差は、多様体の内因的次元mを用いて、O( log(n)^{p_m} / n^{1/m} ) のオーダーで減少する。
• 離散的埋め込み下でのデータ測度の押し出しと連続的埋め込みとの間のウォッシャーマン距離は、O( sqrt(φ) ) で有界であり、ここでφはスペクトル近似誤差を定量化する。
• 直交する円錐構造は直交変換のもとで保存されるため、埋め込み空間における回転に対してロバストである。
• ε(n) が十分にゆっくり減少する場合、離散的埋め込み測度 F_{nlat}ν_n は高確率で直交する円錐構造を持つ。この条件は多様体の内因的次元に依存する。
• 本結果は、非自明な幾何的設定においてスペクトルクラスタリングを正当化し、k-meansが埋め込み上で元のデータの真の粗い構造を正しく回復することを示している。