[論文レビュー] A simpler spectral approach for clustering in directed networks

Simon Coste, Ludovic Stephan|arXiv (Cornell University)|Feb 5, 2021

Complex Network Analysis Techniques参考文献 28被引用数 4

ひとこと要約

この論文は、正則化されていない隣接行列の固有値および固有ベクトルを直接用いることで、SVD や対称化を回避する、有向ネットワーク向けの簡素化されたスペクトルクラスタリング手法を提案する。スパースで非対称な行列に対して、孤立固有値および固有ベクトルのためのマスターテーブルを用いた理論的保証を確立し、スパースな状態でも優れた性能を示す。固有ベクトル埋め込みに対してガウス・ミックスチャージングが k-means より優れていることが示された。

ABSTRACT

We study the task of clustering in directed networks. We show that using the eigenvalue/eigenvector decomposition of the adjacency matrix is simpler than all common methods which are based on a combination of data regularization and SVD truncation, and works well down to the very sparse regime where the edge density has constant order. Our analysis is based on a Master Theorem describing sharp asymptotics for isolated eigenvalues/eigenvectors of sparse, non-symmetric matrices with independent entries. We also describe the limiting distribution of the entries of these eigenvectors; in the task of digraph clustering with spectral embeddings, we provide numerical evidence for the superiority of Gaussian Mixture clustering over the widely used k-means algorithm.

研究の動機と目的

• 有向ネットワークのクラスタリングにおいて、対称化や SVD が必要であるという従来の常識に反し、正則化されていない隣接行列の固有値分解で十分であることを示す。
• 孤立固有値および固有ベクトルのためのマスターテーブルを用いて、スパースで非対称な有向ネットワークにおける固有値分解の厳密な理論的基盤を提供する。
• 実験的に、有向ネットワークの固有ベクトル埋め込みに対してガウス・ミックスチャージングを適用すると、k-means よりもクラスタリング精度が向上することを示す。
• 対称的かつ稠密なネットワークに限らないスペクトルクラスタリング理論を、スパースで非対称な状態、かつ非一様なエッジ確率を持つ有向ネットワークへと拡張する。

提案手法

• 正則化や対称化を回避し、有向隣接行列の直接固有値分解をスペクトル埋め込みのステップとして提案する。
• 独立な要素を持つスパースで非対称なランダム行列における孤立固有値および固有ベクトルの鋭い漸近的性質を記述するマスターテーブルを構築する。
• 局所的近傍構造をモデル化するために分枝過程（ギャルトン＝ウォーソン木）を用い、固有ベクトル成分の極限分布を導出する。
• ドーブのマルティンゲール収束定理およびスラツキーの補題を用いて、木モデル上での擬似固有ベクトルの収束を、極限の確率変数へと証明する。
• 濃度不等式とポルトマントーの補題を用いて、木モデルからの収束を有限グラフへと翻訳する。
• 正規化された固有ベクトルを用い、それらの経験的分布が明示的な平均と分散を持つ非退化極限分布に弱収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 正則化されていない隣接行列の固有値分解は、SVD を用いる方法や対称化手法よりも、有向ネットワークのクラスタリングで優れた性能を発揮できるか？
• RQ2 スパースで非対称な有向ネットワークにおける固有ベクトル成分の極限分布は何か？
• RQ3 スパースな状態において、隣接行列の固有値分解に基づくスペクトルクラスタリングの性能は、SVD を用いる手法と比べてどうか？
• RQ4 有向ネットワークの固有ベクトル埋め込みに対してガウス・ミックスチャージングを適用すると、k-means よりも高いクラスタリング精度が得られるか？

主な発見

• 正則化されていない隣接行列の固有値分解は、エッジ密度が定数の非常にスパースな状態でも、一貫性があり正確なクラスタリング結果をもたらす。
• 固有ベクトル成分の極限分布は、非退化な確率変数に弱収束し、その平均と分散は線形方程式系から明示的に導出できる。
• 合成された有向ネットワークにおいて、固有ベクトル埋め込みに対してガウス・ミックスチャージングを適用すると、k-means よりも一貫して高いクラスタリング精度を示す。
• 理論的分析により、固有ベクトル成分がその極限分布のまわりに集中しており、L² 収束および分布収束が成立することが確認された。
• データの正則化や対称化の必要がなく、パイプラインが簡素化されつつも、性能が維持または向上することが示された。