[論文レビュー] Spectral Convergence Rate of Graph Laplacian

Xu Wang|arXiv (Cornell University)|Oct 27, 2015

Topological and Geometric Data Analysis参考文献 12被引用数 20

ひとこと要約

本稿は、$ \mathbb{R}^D$ に埋め込まれた $d$ 次元多様体から抽出されたデータに対するグラフラプラシアンのスペクトル収束速度を確立し、ノイズのない状況では収束速度が内埋次元 $d$ にのみ依存することを示している。一方、ノイズが存在する場合には、収束速度が環境次元 $D$ に依存するようになる。この分析により、スペクトルクラスタリングの整合性が裏付けられ、$D$ に依存しない $d$ に依存する収束速度を達成するためには、事前処理によるノイズ除去が不可欠であることが示された。

ABSTRACT

Laplacian Eigenvectors of the graph constructed from a data set are used in many spectral manifold learning algorithms such as diffusion maps and spectral clustering. Given a graph constructed from a random sample of a $d$-dimensional compact submanifold $M$ in $\mathbb{R}^D$, we establish the spectral convergence rate of the graph Laplacian. It implies the consistency of the spectral clustering algorithm via a standard perturbation argument. A simple numerical study indicates the necessity of a denoising step before applying spectral algorithms.

研究の動機と目的

• データが $ \mathbb{R}^D$ に埋め込まれた $d$ 次元コンpaktoな部分多様体 $M \subset \mathbb{R}^D$ から抽出された場合のグラフラプラシアンのスペクトル収束速度を確立すること。
• 特に $n \to \infty$ および $h \to 0$ の極限において、最適な収束を得るために、カーネル帯域幅 $h$ が標本サイズ $n$ に対してどのようにスケーリングされるべきかを明確にすること。
• 多様体から外れた位置に点が存在するノイズの影響が収束速度に与える影響、特に環境次元 $D$ への依存性を調査すること。
• スペクトル収束に基づく摂動論的議論を用いて、スペクトルクラスタリングの整合性に対する理論的裏付けを提供すること。
• 実験的に、ノイズが存在する場合に環境次元 $D$ の増加に伴い、グラフの接続性と収束品質が著しく低下することを示し、ノイズ除去の必要性を示唆すること。

提案手法

• 独立同分布に従う点から構築された対称正規化グラフラプラシアン $L = I - D^{-1/2} K D^{-1/2}$ を分析する。
• 連続線形作用素 $T_{h}$ と $T_{n,h}$ を $L^2(P)$ 上に定義し、それぞれの極限的および標本的グラフラプラシアンを表す。
• 点間の類似度を表すために、変動する帯域幅 $h$ を持つガウスカーネル $k_h(x,y) = \exp(-\|x-y\|^2 / h^2)$ を用いる。
• スペクトル収束の結果をスペクトルクラスタリングの整合性と結びつけるために、摂動理論を適用する。
• ノイズのない状況とノイズのある状況の両方において、$T_{n,h}$ と $T_h$ の差の作用素ノルムを分析することで収束速度を導出する。
• 実験的に、カーネル値を閾値処理（$k_h(x_i,x_j) \leq 0.001$）することでグラフの接続性を評価し、さまざまな $n$ と $D$ における接続性を達成するための最小 $h$ を測定する。

実験結果

リサーチクエスチョン

• RQ1 データが正確に $d$ 次元多様体上にある場合、標本サイズ $n$ と帯域幅 $h$ がどのようにスケーリングされるかに応じて、グラフラプラシアンのスペクトル収束速度はどのように変化するか？
• RQ2 ノイズが存在する場合、収束速度は内埋次元 $d$ と環境次元 $D$ のどちらに依存するか？
• RQ3 前処理によって収束速度を環境次元 $D$ に依存させず、$d$ に依存するものにできるか？
• RQ4 高次元でノイズのある状況において、帯域幅 $h$ の選択がグラフの接続性にどのように影響するか？
• RQ5 グラフラプラシアンの収束に基づくスペクトルクラスタリングの整合性に対する理論的裏付けは何か？

主な発見

• ノイズのない状況では、グラフラプラシアンのスペクトル収束速度は環境次元 $D$ に依存せず、内埋次元 $d$ にのみ依存する。
• ノイズが存在する場合、すなわち点が $M$ のチューブ状近傍に存在する場合、収束速度は環境次元 $D$ に依存し、収束のためには条件 $\sqrt{n} h^{5D+3} \to \infty$ が必要となる。
• 数値実験により、ノイズが存在する場合にグラフ接続性を達成するための最小帯域幅 $h$ が環境次元 $D$ の増加に伴い著しく増加することが示された。これは、性能の実用的劣化を示唆している。
• これらの結果から、スペクトルクラスタリングアルゴリズムは、事前処理によるノイズ除去が行われない限り、高次元でノイズのある状況では収束が著しく劣化することが示された。
• 理論的分析により、スペクトル収束が十分に速い場合、スペクトルクラスタリングが整合的であることが確認された。
• 本稿は、現在の理論におけるギャップを特定している：スペクトルクラスタリングにおける $K$-means ステップの収束速度は、スペクトル収束が確立された後も未だ分析されていない。