[論文レビュー] A unified framework for spectral clustering in sparse graphs

Lorenzo Dall’Amico, Romain Couillet+1 more|arXiv (Cornell University)|Mar 20, 2020

Complex Network Analysis Techniques参考文献 61被引用数 10

ひとこと要約

本稿では、コミュニティ検出の難易度に適応する正則化ラプラシアン行列を導入することで、非一様な次数分布を示すスパースグラフにおけるスペクトルクラスタリングの統一的枠組みを提案する。非バックトラッキング行列およびベーテ＝ヘッシアン行列との理論的関係を確立し、特にスパース領域でも高い再構成精度を達成するコミュニティ検出を可能にするとともに、コミュニティ数の自動推定を実現する。

ABSTRACT

This article considers spectral community detection in the regime of sparse networks with heterogeneous degree distributions, for which we devise an algorithm to efficiently retrieve communities. Specifically, we demonstrate that a conveniently parametrized form of regularized Laplacian matrix can be used to perform spectral clustering in sparse networks, without suffering from its degree heterogeneity. Besides, we exhibit important connections between this proposed matrix and the now popular non-backtracking matrix, the Bethe-Hessian matrix, as well as the standard Laplacian matrix. Interestingly, as opposed to competitive methods, our proposed improved parametrization inherently accounts for the hardness of the classification problem. These findings are summarized under the form of an algorithm capable of both estimating the number of communities and achieving high-quality community reconstruction.

研究の動機と目的

• 標準的手法が次数の非一様性により失敗する、非一様次数分布を示すスパースグラフにおけるスペクトルクラスタリングの課題に対処すること。
• 非バックトラッキング、ベーテ＝ヘッシアン、および標準ラプラシアン行列の性質を統合する統一的枠組みを構築し、コミュニティ検出を改善すること。
• 分類問題の内在的難易度を行列のパrametrizationに直接組み込み、耐性性と精度を向上させること。
• スペクトル的性質に基づいて、事前の知識なしにコミュニティ数を自動的に推定できること。
• 従来の検出可能性の閾値を下回るスパース領域でも、高品質なコミュニティ再構成を達成すること。

提案手法

• 正則化ラプラシアン行列 $ H_r = r^2 I - r A + D $ を導入し、$ r $ を調整可能なパrameter、$ A $ を隣接行列、$ D $ を次数行列とする。
• コーシー＝フイッシャーの定理を用いて、バルク固有値と分離した固有値の境界を示す固有値閾値 $ \zeta_p $ を推定する。
• $ f_{r_t}(r_{t+1}) = 0 $ を解くことで $ \zeta_p $ を近似する高速反復アルゴリズムを提案し、$ f_{r_t}(r') $ は $ H_{r'} $ の $ p $ 番目の小さい固有値の上限を定める。
• 反復的に $ r_t $ を $ \zeta_p $ に向けて減少させることで、$ r_\infty = \zeta_p $ に収束させ、真の閾値に到達させ、コミュニティ数の検出を可能にする。
• 正則化ラプラシアンが非バックトラッキング行列およびベーテ＝ヘッシアン行列と理論的に同等であることを示し、極限状態で一致することを示す。
• コミュニティの割り当ては、$ H_r $ の固有ベクトルに基づくスペクトルクラスタリングにより実施され、コミュニティ数は分離した固有値の数から推定される。

実験結果

リサーチクエスチョン

• RQ1 一様な正則化ラプラシアン枠組みは、非一様次数を持つ多様なスパースグラフモデルにおいて、スペクトルクラスタリングを統合的に実現できるか？
• RQ2 正則化ラプラシアンのパrametrizationは、コミュニティ検出の内在的難易度をどのように扱っているか？
• RQ3 提案された正則化ラプラシアンと、非バックトラッキングやベーテ＝ヘッシアンといった既存の行列との関係は何か？
• RQ4 スペクトル的性質に基づいて、コミュニティ数を自動的に推定できるか？
• RQ5 本手法は、理論的検出可能性閾値を下回るスパース領域でも、高精度な再構成を達成できるか？

主な発見

• 正則化ラプラシアン $ H_r $ は、スパースグラフにおける次数非一様性の悪影響を効果的に軽減し、高精度なスペクトルクラスタリングを可能にする。
• 収束の理論的保証とともに、固有値閾値による真のコミュニティ数への収束を達成する高品質なコミュニティ再構成を実現する。
• 正則化ラプラシアンと非バックトラッキング行列との間の直接的な理論的関係を確立し、$ H_r $ が既知のスペクトル手法を一般化していることを示す。
• $ \zeta_p $ を推定する反復アルゴリズムは真の閾値 $ \zeta_p $ に収束し、$ r_\infty = \zeta_p $ を満たすため、分離固有値の検出が信頼できる。
• 分離固有値の数を数えることで、$ k $ の事前の知識なしにコミュニティ数を自動的に推定する。
• $ n = 50,000 $ のシミュレーションにおいて、$ c = 5 $、$ c_{\text{out}} = 2.5 $、$ \theta_i \sim \mathcal{U}(3,10) $ の条件下でも、コミュニティを正確に回復することができ、次数非一様性に対して強い耐性を示す。