[論文レビュー] Graph Clustering with Graph Neural Networks

Anton Tsitsulin, John Palowitch+2 more|arXiv (Cornell University)|Jun 30, 2020

Advanced Graph Neural Networks参考文献 67被引用数 50

ひとこと要約

本論文は、Deep Modularity Networks (DMoN) を導入し、崩壊正則化を用いてグラフクラスタを信頼性高く回復する、差分可能なモジュラリティに触発された目的関数を最適化する、教師なしのGNNベースのクラスタリング手法を提案する。 pooling手法の中で最先端の結果を達成している。

ABSTRACT

Graph Neural Networks (GNNs) have achieved state-of-the-art results on many graph analysis tasks such as node classification and link prediction. However, important unsupervised problems on graphs, such as graph clustering, have proved more resistant to advances in GNNs. Graph clustering has the same overall goal as node pooling in GNNs - does this mean that GNN pooling methods do a good job at clustering graphs? Surprisingly, the answer is no - current GNN pooling methods often fail to recover the cluster structure in cases where simple baselines, such as k-means applied on learned representations, work well. We investigate further by carefully designing a set of experiments to study different signal-to-noise scenarios both in graph structure and attribute data. To address these methods' poor performance in clustering, we introduce Deep Modularity Networks (DMoN), an unsupervised pooling method inspired by the modularity measure of clustering quality, and show how it tackles recovery of the challenging clustering structure of real-world graphs. Similarly, on real-world data, we show that DMoN produces high quality clusters which correlate strongly with ground truth labels, achieving state-of-the-art results with over 40% improvement over other pooling methods across different metrics.

研究の動機と目的

• GNN内での教師なしグラフクラスタリングを動機づけ、クラスタリング目的を深層学習と結びつける。
• モジュラリティとスペクトル法に着想を得た完全に微分可能なクラスタリング目的を提案する。
• 崩壊正則化とドロップアウトを用いてトリビアルな解を回避し、安定した訓練を実現する。
• 合成データと実世界グラフのクラスタリング品質をベースラインと比較して改善を示す。

提案手法

• soft cluster assignments C via softmax(GCN(Ã, X)).
• LDMoN(C; A) = −(1/2m) Tr(C⊤BC) + (√k/n) X_i C⊤_i F^−1, where B = A − dd⊤/2m.
• Tr(C⊤BC) を sparse A-term と次数正規化へ分解して更新ごとに O(d^2 n)。
• 崩壊正則化を Frobenius ノルムのソフトクラスタ数を [0, √k] に正規化したものとして導入し、トリビアルな解を避ける。
• GNN 表現に対してソフトマックスの前にドロップアウトを適用して局所最小値を回避。
• 論理的結果を提供して、崩壊正則化がトリビアルなクラスタリングを回避し、DC-SBM 下で漸近的一貫性を保つことを示す。

実験結果

リサーチクエスチョン

• RQ1 属性付きグラフをGNNフレームワーク内でエンドツーエンド差分可能なクラスタリングを達成できるか。
• RQ2 モジュラリティ風の目的が教師なし設定で実世界のグラフクラスタリング構造の回復を助けるか。
• RQ3 適切な正則化子を伴うソフトクラスタリング手法はノイズと特徴構造のずれに対して頑健か。
• RQ4 GNNベースのクラスタリング手法は大規模グラフに拡張可能で、クラスタリング品質を損なわずに済むか。

主な発見

• DMoNは実世界データで高品質なクラスタを提供し、グラウンドトゥルーラベルと強く相関する。
• DMoNは他のプーリング手法を超えて metrics において40%以上の改善を達成し最先端。
• 崩壊正則化は全一クラスタのトリビアル解を効果的に防ぎ、訓練の安定性を改善。
• 合成実験で、グラフ構造および属性のノイズ状況下で DMoN がベースラインを上回る。
• 理論結果は崩壊正則化が DC-SBM 下で漸近的一貫性を損なわないことを確立。