[論文レビュー] Spectral clustering under degree heterogeneity: a case for the random walk Laplacian

Alexander Modell, Patrick Rubin‐Delanchy|arXiv (Cornell University)|May 3, 2021

Bayesian Methods and Mixture Models被引用数 4

ひとこと要約

本稿では、ネットワークにおける次数不均一性を内蔵的に是正するため、スペクトルクラスタリングにおいてランダムウォークラプラシアンを用いることを提唱する。理論的に、得られる埋め込みが次数補正済みの潜在位置を一貫して推定できることを示し、球面射影を伴わずに漸近的に完全なコミュニティ回復が可能である。さらに、最適なクラスタリングを実現するための重み付きガウス混合モデルを提案する。

ABSTRACT

This paper shows that graph spectral embedding using the random walk Laplacian produces vector representations which are completely corrected for node degree. Under a generalised random dot product graph, the embedding provides uniformly consistent estimates of degree-corrected latent positions, with asymptotically Gaussian error. In the special case of a degree-corrected stochastic block model, the embedding concentrates about K distinct points, representing communities. These can be recovered perfectly, asymptotically, through a subsequent clustering step, without spherical projection, as commonly required by algorithms based on the adjacency or normalised, symmetric Laplacian matrices. While the estimand does not depend on degree, the asymptotic variance of its estimate does -- higher degree nodes are embedded more accurately than lower degree nodes. Our central limit theorem therefore suggests fitting a weighted Gaussian mixture model as the subsequent clustering step, for which we provide an expectation-maximisation algorithm.

研究の動機と目的

• ランダムウォークラプラシアンから得られるスペクトル埋め込みの原理的統計的解釈を提供すること。
• 標準的なスペクトルクラスタリング手法が次数不均一性を扱う際の限界、特に次数補正ステンシルブロックモデルのようなモデルにおいての限界を解決すること。
• ランダムウォークラプラシアンがノード次数に依存する補正を内蔵した埋め込みを生成することを示し、球面射影の必要性を排除すること。
• ノード次数に漸近的に依存する分散を考慮した理論的根拠に基づくクラスタリング手順を開発すること。
• 提案された埋め込みと重み付きガウス混合モデルを用いることで、漸近的に完全なコミュニティ回復が達成可能であることを示すこと。

提案手法

• 隣接行列や対称ラプラシアン行列の代わりに、ランダムウォークラプラシアン行列をスペクトル埋め込みの入力として使用する。
• ノードの潜在位置がノード固有の重みでスケーリングされる一般化されたランダムドット積グラフモデルの下で埋め込みを分析する。
• モデル下で次数補正済みの潜在位置に対する埋め込みの一様一致性を確立する。
• 推定誤差が漸近的にガウス分布に従うことを示す中心極限定理を導出する。ここで分散はノード次数に依存する。
• 各ノードの埋め込みの漸近的分散に逆比例する重みを用いた重み付きガウス混合モデルを提案する。
• 期待最大化アルゴリズムを用いて重み付きガウス混合モデルをフィットさせ、標準的手法よりも高いクラスタリング精度を実現する。

実験結果

リサーチクエスチョン

• RQ1 ランダムウォークラプラシアンを用いたスペクトル埋め込みは、隣接行列や対称ラプラシアン行列からの埋め込みと比べて、次数補正においてどのように異なるか？
• RQ2 一般化されたランダムドット積グラフモデルにおいて、ランダムウォークラプラシアンは次数補正済みの潜在位置を一貫して推定できるか？
• RQ3 次数補正ステンシルブロックモデルにおいて、球面射影を伴わずに、埋め込みが漸近的に完全なコミュニティ回復を可能にするか？
• RQ4 埋め込み推定の漸近的分散はノード次数にどのように依存するか？ また、この依存関係をクラスタリングの改善に活用できるか？
• RQ5 漸近的分散に基づいて重みを割り当てる重み付きガウス混合モデルは、標準的手法よりもランダムウォークラプラシアンの埋め込みからのコミュニティ回復において優れているか？

主な発見

• 一般化されたランダムドット積グラフモデルにおいて、ランダムウォークラプラシアンを用いたスペクトル埋め込みは、次数補正済みの潜在位置を一様に一貫して推定する。
• 埋め込み誤差の漸近的分布はガウス分布に従い、分散はノード次数が低いほど大きくなる。これは、高次ノードがより正確に埋め込まれることを意味する。
• 次数補正ステンシルブロックモデルにおいて、埋め込みはK個の異なる点（コミュニティに対応）に集中し、球面射影を伴わずしても漸近的に完全な回復が可能である。
• 提案手法は球面LSEを上回り、特に大規模ネットワークや密度の高い状況において球面ASEと同等の性能を示す。
• 漸近的分散に基づいて重みを割り当てる重み付きガウス混合モデルは、重みなしの代替手法に比べて、より優れたクラスタリング性能を発揮する。
• ハリー・ポッターの敵対関係ネットワークにおける実験結果から、一次元のランダムウォーク埋め込みにおいて明確なコミュニティ分離が観察され、物語的役割に基づいてスネイプやブラックらが正しく位置づけられている。