[論文レビュー] Understanding Regularized Spectral Clustering via Graph Conductance

Yilin Zhang, Karl Rohe|arXiv (Cornell University)|Jun 5, 2018

Complex Network Analysis Techniques被引用数 47

ひとこと要約

本論文はグラフの伝導度をスペクトルクラスタリングに関連付け、スパースグラフにおける Vanilla-SC の失敗を説明し、CoreCut による正則化がバランスとロバスト性を改善し、計算も高速化することを示している。

ABSTRACT

This paper uses the relationship between graph conductance and spectral clustering to study (i) the failures of spectral clustering and (ii) the benefits of regularization. The explanation is simple. Sparse and stochastic graphs create a lot of small trees that are connected to the core of the graph by only one edge. Graph conductance is sensitive to these noisy `dangling sets'. Spectral clustering inherits this sensitivity. The second part of the paper starts from a previously proposed form of regularized spectral clustering and shows that it is related to the graph conductance on a `regularized graph'. We call the conductance on the regularized graph CoreCut. Based upon previous arguments that relate graph conductance to spectral clustering (e.g. Cheeger inequality), minimizing CoreCut relaxes to regularized spectral clustering. Simple inspection of CoreCut reveals why it is less sensitive to small cuts in the graph. Together, these results show that unbalanced partitions from spectral clustering can be understood as overfitting to noise in the periphery of a sparse and stochastic graph. Regularization fixes this overfitting. In addition to this statistical benefit, these results also demonstrate how regularization can improve the computational speed of spectral clustering. We provide simulations and data examples to illustrate these results.

研究の動機と目的

• 周辺の g-dangling sets のために、スパースかつ確率的なグラフにおいて Vanilla-SC が失敗する理由を説明する。
• Regularized-SC に関連する正則化されたグラフ伝導度として CoreCut を導入する。
• Regularized-SC が過剰適合を緩和し、分割のバランスを改善する方法を示す。
• 実験を通じて、スペクトルクラスタリングにおける正則化の計算上の利点を示す。

提案手法

• 正則化を動機づけるため、Cheeger 不等式を用いてグラフ伝導度とスペクトルクラスタリングの関係を示す。
• g-dangling sets を定義し、それらがスパースグラフで小さな伝導度をもたらすことを示す。
• 実世界のスパースグラフには多くの g-dangling sets が含まれ、これが多くの小さな固有値と遅い収束を引き起こすことを証明する。
• G_tau 上の正規化された伝導度として CoreCut を導入し、それを Regularized-SC に関連づける。
• 特定の tau の選択下で CoreCut が周辺の切断よりコアのパーティションを優先する条件を示す境界を導出する。
• Vanilla-SC と Regularized-SC を比較する経験的なシミュレーションと実データ実験を提供する。

実験結果

リサーチクエスチョン

• RQ1 グラフ伝導度はスパースで確率的なグラフにおける Vanilla-SC の失敗とどう関連するか？
• RQ2 正則化は伝導度の風景をどのように変化させ、コアグラフのパーティションを有利にするか？
• RQ3 CoreCut とは何か、そしてそれはグラフ正則化を通じて Regularized-SC とどう結びつくか？
• RQ4 実践的に、Regularized-SC の解は分割のバランスを改善し、過剰適合を減らすか？
• RQ5 正則化されたスペクトルクラスタリングを使用する場合の計算上の影響は何か？

主な発見

• スパースで確率的なグラフには多くの g-dangling sets が含まれ、それらは小さな伝導度値と多くの小さな固有値を生み出し、構造ではなくノイズを示唆する。
• CoreCut 正則化は伝導度を移し、周辺の小さなカットを無視し、コアグラフ構造を強調し、Regularized-SC と一致させる。
• Regularized-SC は Vanilla-SC と比較してよりバランスの取れた分割を生み出し、Vanilla-SC は不均衡でノイズ駆動のカットを生みがちである。
• 報告された実験では、2番目の固有ベクトルを得る際の Regularized-SC の計算が Vanilla-SC より高速である。