[論文レビュー] Spectral Clustering of Graphs with the Bethe Hessian

Alaa Saade, Florent Krząkała+1 more|arXiv (Cornell University)|Jun 7, 2014

Complex Network Analysis Techniques被引用数 31

ひとこと要約

本稿では、スパースなストーアスティック・ブロック・モデルにおける最適なコミュニティ検出を達成する、対称的で実数かつ計算的に効率的な行列としてのベーテ・ヘシアン行列を、スペクトルクラスタリングのツールとして提案する。理論的な検出限界に一致する。標準的なスペクトルクラスタリングを上回り、非バックトラッキング作用素と同等またはそれを上回る性能を発揮しながら、対称性を維持し、計算コストを低く保つ。

ABSTRACT

Spectral clustering is a standard approach to label nodes on a graph by studying the (largest or lowest) eigenvalues of a symmetric real matrix such as e.g. the adjacency or the Laplacian. Recently, it has been argued that using instead a more complicated, non-symmetric and higher dimensional operator, related to the non-backtracking walk on the graph, leads to improved performance in detecting clusters, and even to optimal performance for the stochastic block model. Here, we propose to use instead a simpler object, a symmetric real matrix known as the Bethe Hessian operator, or deformed Laplacian. We show that this approach combines the performances of the non-backtracking operator, thus detecting clusters all the way down to the theoretical limit in the stochastic block model, with the computational, theoretical and memory advantages of real symmetric matrices.

研究の動機と目的

• ストーアスティック・ブロック・モデルにおいて最適に動作する、非パrametric的で計算的に効率的なスペクトルクラスタリング手法の開発。
• スパースなグラフにおける標準的スペクトルクラスタリングの限界を克服すること。これは、最適なアルゴリズムが存在するにもかかわらずコミュニティ検出に失敗することが多い。
• 非バックトラッキング作用素の性能を、対称行列の計算的および理論的利点と統合すること。
• モデルパラメータの事前知識が不要な状態で、負の固有値の個数を数えることでコミュニティ数を自動的に同定すること。

提案手法

• ベーテ・ヘシアン行列は、$ H(r) = (r^2 - 1)\mathbf{1} - rA + D $ として定義され、ここで $ r > 1 $、$ A $ は隣接行列、$ D $ は次数行列である。
• 本手法は、$ H(r) $ の最小（最も負の）固有値に対応する固有ベクトルを用いてノードのラベルを割り当てる。これは行列のスペクトル的性質を活用する。
• 正則化パラメータ $ r $ は、スペクトルギャップを最大化するように調整され、クラスタ間の明確な分離を保証する。
• コミュニティ数は、$ H(r) $ の負の固有値の個数を数えることで推定され、パrameterのチューニングなしに自動的なクラスタリング検出が可能になる。
• 非バックトラッキング作用素とは異なり、重み付きグラフや実世界のネットワークに対してもスケーラビリティを損なわず一般化可能である。
• 理論的分析により、ベーテ・ヘシアンのスペクトルと非バックトラッキング行列のスペクトルとの関係が示され、ストーアスティック・ブロック・モデルにおける最適な検出可能性が証明されている。

実験結果

リサーチクエスチョン

• RQ1 スパースなストーアスティック・ブロック・モデルにおいて、対称的で実数の行列を用いて最適なコミュニティ検出が可能か？
• RQ2 ベーテ・ヘシアン行列は、精度および計算効率の観点で、標準的スペクトルクラスタリングおよび非バックトラッキングスペクトルクラスタリングを上回るか？
• RQ3 モデルパラメータの事前知識がなくても、ベーテ・ヘシアンのスペクトルからコミュニティ数を自動的に推定可能か？
• RQ4 ストーアスティック・ブロック・モデルに厳密に従わない実世界のネットワークにおいて、ベーテ・ヘシアンはどのように性能を発揮するか？
• RQ5 ベーテ・ヘシアンは、モジュラリティ最大化のようなNP困難な最適化問題の一般化されたスペクトル緩和を提供できるか？

主な発見

• ベーテ・ヘシアン行列は、理論的限界 $ |c_{\text{in}} - c_{\text{out}}| > q\sqrt{c} $ までコミュニティ検出を実行でき、オракルパラメータを用いた信念伝播と同等の最適性能を達成する。
• 2コミュニティのストーアスティック・ブロック・モデルにおいて、ポリブログスネットワークではオーバーラップが 0.865794 に達し、非バックトラッキング作用素と同等またはわずかに上回る。
• ドルフィンズネットワークでは、オーバーラップが 0.806452 に達し、非バックトラッキング作用素の 0.741935 より顕著に優れる。
• すべてのテスト済みの実世界ネットワークにおいて、負の固有値の個数を数えることでコミュニティ数を正しく同定でき、パrameterチューニングの必要がない。
• アドノンネットワークでは、非バックトラッキング作用素の 0.625000 よりも優れたオーバーラップ 0.660714 を達成し、フットボールおよびカレッジネットワークでは同等の性能を示す。
• 本手法は重み付きグラフへもスケーラブルに一般化可能であり、他のスペクトルクラスタリング問題へも応用可能で、モジュラリティ最大化のようなNP困難な目的関数の一般化されたスペクトル緩和を提供する。