[論文レビュー] Impact of regularization on Spectral Clustering

Antony Joseph, Bin Yu|arXiv (Cornell University)|Dec 5, 2013

Complex Network Analysis Techniques参考文献 22被引用数 18

ひとこと要約

本稿は、ストークスティックブロックモデル（SBM）下でのスペクトラルクラスタリングにおける正則化の理論的分析を提供し、最大次数の成長に基づくクラスタ回復を可能にするために、最小次数の仮定を不要にする正則化の有効性を示している。DKestと呼ばれるデータ駆動型手法を導入し、推定されたデイヴィス＝カハン境界を最小化することで正則化パラメータτの選択を行う。この手法は、シミュレートされたネットワークおよび実世界のネットワークにおいて性能を向上させる。

ABSTRACT

The performance of spectral clustering can be considerably improved via regularization, as demonstrated empirically in Amini et. al (2012). Here, we provide an attempt at quantifying this improvement through theoretical analysis. Under the stochastic block model (SBM), and its extensions, previous results on spectral clustering relied on the minimum degree of the graph being sufficiently large for its good performance. By examining the scenario where the regularization parameter $τ$ is large we show that the minimum degree assumption can potentially be removed. As a special case, for an SBM with two blocks, the results require the maximum degree to be large (grow faster than $\log n$) as opposed to the minimum degree. More importantly, we show the usefulness of regularization in situations where not all nodes belong to well-defined clusters. Our results rely on a `bias-variance'-like trade-off that arises from understanding the concentration of the sample Laplacian and the eigen gap as a function of the regularization parameter. As a byproduct of our bounds, we propose a data-driven technique extit{DKest} (standing for estimated Davis-Kahan bounds) for choosing the regularization parameter. This technique is shown to work well through simulations and on a real data set.

研究の動機と目的

• 正則化がコミュニティ検出におけるスペクトラルクラスタリングの性能をどのように向上させるかを理論的に理解すること。
• 従来のスペクトラルクラスタリング解析における制限的な最小次数の仮定を、正則化を活用することで排除すること。
• 低次数ノードが明確なコミュニティに属さないネットワークにおけるクラスタ回復を扱うこと。
• 理論的境界を用いて、誤差の固有ベクトルに関する推定を行うことで、正則化パラメータτのデータ駆動型選択手法を開発すること。
• 提案手法の有効性を、シミュレーションおよび実際のネットワークデータにおいて示すこと。

提案手法

• ストークスティックブロックモデル（SBM）および弱く接続されたコミュニティを含む拡張形における正則化スペクトラルクラスタリング（RSC）を分析する。
• 正則化パラメータτの関数としての固有ギャップと標本ラプラシアンの集中の、バイアス・バリアンスに類似したトレードオフを用いる。
• 大τに対して1/τに比例するスケーリングを示す、ラプラシアン差のスペクトルノルムに関する高確率的境界を導出。これは従来の1/√τの境界を改善する。
• τのグリッド上の値についてデイヴィス＝カハン境界を推定し、その境界を最小化するτを選択するデータ依存的手順であるDKestを提案。
• ノード次数とクラスタ所属関係を用いてエッジ確率を推定することで、度数補正SBMへのDKestの拡張を実現。
• 推定されたエッジ確率とノード次数を用いて、正則化された母集団ラプラシアンを構築し、τに依存する境界を計算する。

実験結果

リサーチクエスチョン

• RQ1 スペクトラルクラスタリングにおける正則化は、コミュニティ検出において最小次数の仮定を不要にすることができるか？
• RQ2 低次数ノードが明確なコミュニティに属さない状況において、正則化はクラスタ回復にどのように影響するか？
• RQ3 正則化パラメータτと標本ラプラシアンの集中、および固有ギャップとの理論的関係は何か？
• RQ4 固有ベクトル誤差の理論的境界を推定することで、τのデータ駆動型選択手法を開発できるか？
• RQ5 提案されたDKest手法は、固定されたτの選択と比較して、クラスタリング精度において優れているか？

主な発見

• 2ブロックのSBMにおいて、最小次数がこのような条件を満たす必要がなくなる一方で、最大次数がlog nより速く成長する場合にクラスタ回復が可能である。
• 大きなτによる正則化は、明確なクラスタに属さない低次数ノードを効果的に除外し、コミュニティ間の固有ベクトルの分離を改善する。
• ラプラシアン差のスペクトルノルムに関する理論的境界は、大τに対して1/τに比例して減少し、従来の1/√τのレートを改善する。
• 固有ギャップも大τに対して1/τに比例して減少し、固有ベクトル推定におけるバイアスとバリアンスのバランスの取れたトレードオフを示している。
• DKestは推定されたデイヴィス＝カハン境界を最小化することでτを適切に選択し、シミュレーションおよび実データにおいて固定τの選択を上回る性能を示す。
• 度数補正SBMへのDKestの拡張により、ノード次数に不均一性があるネットワークにおいても頑健なパrameter選択が可能になる。