[論文レビュー] Regularized Spectral Clustering under the Degree-Corrected Stochastic Blockmodel

Tai Qin, Karl Rohe|arXiv (Cornell University)|Sep 16, 2013

Advanced Clustering Algorithms Research参考文献 12被引用数 100

ひとこと要約

本稿では、ノード次数の不均一性が著しいネットワークにおけるコミュニティ検出を改善するため、次数補正付きスモール・ブロックモデル（DC-SBM）の下で正則化スペクトルクラスタリング（RSC）を提案する。次数正則化パラメータτを導入し、リービングスコアを分析することで、最小次数の仮定を必要とせず、クラスタリング精度を向上させている。最適なτは平均次数に近く、高リービングスコアを持つノードにおいても性能が向上する。

ABSTRACT

Spectral clustering is a fast and popular algorithm for finding clusters in networks. Recently, Chaudhuri et al. (2012) and Amini et al.(2012) proposed inspired variations on the algorithm that artificially inflate the node degrees for improved statistical performance. The current paper extends the previous statistical estimation results to the more canonical spectral clustering algorithm in a way that removes any assumption on the minimum degree and provides guidance on the choice of the tuning parameter. Moreover, our results show how the "star shape" in the eigenvectors--a common feature of empirical networks--can be explained by the Degree-Corrected Stochastic Blockmodel and the Extended Planted Partition model, two statistical models that allow for highly heterogeneous degrees. Throughout, the paper characterizes and justifies several of the variations of the spectral clustering algorithm in terms of these models.

研究の動機と目的

• 非常に不均一な次数を持つネットワークにおけるスペクトルクラスタリングの性能を向上させること。
• 最小ノード次数の仮定を必要としないスペクトルクラスタリングにおける正則化の理論的裏付けを提供すること。
• DC-SBMおよび拡張プラント・パーティションモデルを用いて、経験的に観察される「星型」固有ベクトルパターンを説明すること。
• 実践的な文脈において正則化パラメータτの選択をガイドすること。τ ≈ 平均次数が推奨される。
• 次数の不均一性がある状況下で、行正規化（単位球面への射影）がなぜ不適切になる可能性があるかを示すこと。これはリービングスコアに依存する。

提案手法

• 正則化グラフラプラシアン $ L_\tau = D_\tau^{-1/2} A D_\tau^{-1/2} $ を用いた正則化スペクトルクラスタリング（RSC）を導入。ここで $ D_\tau = D + \tau I $ である。
• $ L_\tau $ の $ K $ 個の最大固有ベクトルを用いて行列 $ X \in \mathbb{R}^{N \times K} $ を構築し、その後各行を単位長に正規化して $ X^* $ を得る。
• 行列 $ X^* $ の各行にk-meansを適用し、ノードをクラスタに割り当てる。最終的な出力は $ K $ 個の互いに素なノード集合である。
• 標準的なSBMよりも現実のネットワークをより正確にモデル化できる、次数の不均一性を許容するDC-SBMの下で、手法を分析する。
• リービングスコアを重要な診断指標として導入：リービングスコアが高いノードはクラスタリングが容易であり、正則化により低リービングスコアのノードにおける性能が向上する。
• リービングスコアと正則化パラメータτに依存する、誤分類誤差の理論的バウンディングを提供する。

実験結果

リサーチクエスチョン

• RQ1 次数補正付きスモール・ブロックモデル（DC-SBM）下で、スペクトルクラスタリングにおける正則化はどのように性能を向上させるか？
• RQ2 正則化パラメータτの最適な選択肢は何か？ また、クラスタリング精度にどのように影響を与えるか？
• RQ3 なぜ経験的ネットワークでよく観察される「星型」固有ベクトルパターンがDC-SBM下で生じるのか？
• RQ4 どの状況で行正規化（単位球面への射影）がクラスタリング性能に有益または有害となるか？
• RQ5 最小ノード次数の仮定をしないで、スペクトルクラスタリングに対する理論的保証を確立できるか？

主な発見

• RSCは、次数の不均一性が著しいネットワーク（β ≤ 3.5）において、誤分類率を顕著に低減させ、特にβ < 3のとき、標準スペクトルクラスタリングや他の変種を上回る性能を示す。
• β = 3.5（高い次数の不均一性）のとき、ブログネットワークにおいてRSCは1222ノード中（80 ± 2）ノードを誤分類するが、標準スペクトルクラスタリングでは1144/1222にのぼる。
• 高リービングスコアノード（リービングスコア上位90%）では、RSCの誤分類率は1100ノード中44/1100であり、全体の誤分類率と比べて約50%低い。
• 理論的結果から、最小次数の仮定を必要とせず、正則化が性能を向上させることを示しており、性能の閾値はリービングスコアによって決定される。
• 最適な正則化パラメータτは平均次数に近く、固有ベクトル推定におけるバイアスとバリアンスのバランスをとる。
• 次数の不均一性がある状況では、行正規化（各行列行を単位球面に射影）がクラスタリング信号を隠す可能性があり、特に低リービングスコアノードにおいて顕著である。