[論文レビュー] Partitioning Well-Clustered Graphs: Spectral Clustering Works!

Richard Peng, He Sun+1 more|arXiv (Cornell University)|Nov 7, 2014

Complex Network Analysis Techniques参考文献 28被引用数 48

ひとこと要約

この論文は、スぺクトルクラスタリングがwell-clusteredなグラフにおいて理論的保証を持つことを確立している。グラフラプラシアンの下位固有ベクトルによる頂点の埋め込みと、k-meansクラスタリングを適用することで、最適なk分割を良い近似で得られることを示している。主な貢献は、熱核近似と近似最近傍探索を用いたほぼ線形時間のアルゴリズムであり、近似比は$\widetilde{O}(k^4 / \Upsilon)$である。ここで$\Upsilon$はスペクトルギャップパラメータである。

ABSTRACT

In this paper we study variants of the widely used spectral clustering that partitions a graph into k clusters by (1) embedding the vertices of a graph into a low-dimensional space using the bottom eigenvectors of the Laplacian matrix, and (2) grouping the embedded points into k clusters via k-means algorithms. We show that, for a wide class of graphs, spectral clustering gives a good approximation of the optimal clustering. While this approach was proposed in the early 1990s and has comprehensive applications, prior to our work similar results were known only for graphs generated from stochastic models. We also give a nearly-linear time algorithm for partitioning well-clustered graphs based on computing a matrix exponential and approximate nearest neighbor data structures.

研究の動機と目的

• ステochasticモデルを超えてwell-clusteredなグラフにおけるスぺクトルクラスタリングの厳密な解析を目的とする。
• ラプラシアンの固有ベクトルと真のクラスタの指示ベクトルとの間の関係を確立する。
• スぺクトル埋め込みと最近傍探索に基づく、k分割グラフ分割のほぼ線形時間アルゴリズムを開発すること。
• スペクトルギャップ仮定$\Upsilon(k) = \lambda_{k+1}/\rho(k)$の下で、分割品質の近似保証を提供すること。

提案手法

• 正規化ラプラシアンの下位$k$個の固有ベクトルを用いて、グラフの頂点を低次元空間に埋め込む。
• 埋め込んだ点に対してk-meansクラスタリングを適用し、クラスタを回復する。
• 計算の効率化のため、スぺクトル埋め込みを行列指数（熱核）を用いて近似する。
• クラスタリング段階の高速化のために、近似最近傍探索データ構造を活用する。
• 初期クラスタ中心を堅牢に選択するためのシーディングとトリミング手順を用いる。
• 得られた分割が、最適な$k$分割の近似として、導出された分割の導出度とボリュームのずれに関して$\widetilde{O}(k^4 / \Upsilon)$の誤差で近似できることを証明する。

実験結果

リサーチクエスチョン

• RQ1 スペクトルギャップ仮定の下で、スぺクトルクラスタリングがstochasticモデルではなくwell-clusteredなグラフにおいて厳密に正当化可能か？
• RQ2 ほぼ線形時間の分割を可能にするために、スぺクトル埋め込みをどのように効率的に近似できるか？
• RQ3 導出度とボリュームのずれの観点から、スぺクトルクラスタリングの近似品質はどの程度か？
• RQ4 熱核はwell-clusteredなグラフにおけるスぺクトル埋め込みとクラスタ回復にどのように関係するか？
• RQ5 k分割グラフ分割に対して、理論的保証を持つほぼ線形時間のアルゴリズムを設計可能か？

主な発見

• 各クラスタ$A_i$について、$\phi_{G}(A_i) = 1.1 \cdot \phi_{G}(S_i) + \widetilde{O}(k^4 / \Upsilon)$の近似比が達成される。ここで$\phi_{G}(S_i)$は真のクラスタの導出度である。
• 戻り値の分割$A_i$と真のクラスタ$S_i$との間のボリュームのずれは、$\operatorname{vol}(A_i \triangle S_i) = \widetilde{O}(k^4 / \Upsilon) \cdot \operatorname{vol}(S_i)$を満たす。
• アルゴリズムは$\widetilde{O}(m)$時間で実行され、$m$は辺の数であるため、ほぼ線形時間である。
• スぺクトル埋め込みは、$t = \Omega(1/(\lambda_k \log n))$に対して、熱核$\exp(-tL)$を用いることで近似可能であり、計算が効率的に行える。
• 本手法は、$\Upsilon(k) = \lambda_{k+1}/\rho(k)$というギャップ仮定に依存しており、これは固有値ギャップよりも弱いが、実用的には妥当である。
• 理論的解析により、ギャップ条件の下で固有ベクトルがクラスタ指示ベクトルとよく一致することが示され、スぺクトルクラスタリングの実践的成功の裏付けが得られる。