[論文レビュー] SCGC : Self-Supervised Contrastive Graph Clustering

Gayan K. Kulatilleke, Marius Portmann+1 more|arXiv (Cornell University)|Apr 27, 2022

Advanced Graph Neural Networks被引用数 14

ひとこと要約

SCGCは、従来のGNNを単純なオートエンコーダーと対照的損失に置き換える自己教師付き対照的グラフクラスタリング手法を提案する。これにより、隣接行列や高コストな演算に依存しなくなり、グラフ構造を強制する。SCGC*は影響拡張対照的（IAC）損失を用いて、効率性と耐性をさらに向上させ、最先端モデルと比較して学習を55%高速化、推論を81%高速化しながら、DBLPでARIに20%、NMIに18%の向上を達成する。

ABSTRACT

Graph clustering discovers groups or communities within networks. Deep learning methods such as autoencoders (AE) extract effective clustering and downstream representations but cannot incorporate rich structural information. While Graph Neural Networks (GNN) have shown great success in encoding graph structure, typical GNNs based on convolution or attention variants suffer from over-smoothing, noise, heterophily, are computationally expensive and typically require the complete graph being present. Instead, we propose Self-Supervised Contrastive Graph Clustering (SCGC), which imposes graph-structure via contrastive loss signals to learn discriminative node representations and iteratively refined soft cluster labels. We also propose SCGC*, with a more effective, novel, Influence Augmented Contrastive (IAC) loss to fuse richer structural information, and half the original model parameters. SCGC(*) is faster with simple linear units, completely eliminate convolutions and attention of traditional GNNs, yet efficiently incorporates structure. It is impervious to layer depth and robust to over-smoothing, incorrect edges and heterophily. It is scalable by batching, a limitation in many prior GNN models, and trivially parallelizable. We obtain significant improvements over state-of-the-art on a wide range of benchmark graph datasets, including images, sensor data, text, and citation networks efficiently. Specifically, 20% on ARI and 18% on NMI for DBLP; overall 55% reduction in training time and overall, 81% reduction on inference time. Our code is available at : https://github.com/gayanku/SCGC

研究の動機と目的

• GNNベースのグラフクラスタリングにおける過剰平滑化、ノイズ感受性、計算非効率性の問題に対処すること。
• 隣接行列やGNN演算を排除するために、オートエンコーダーの埋め込みに基づく対照的学習を活用し、クラスタリングにおけるグラフ構造を強制すること。
• 自己教師付きソフトクラスタリングを通じて、異種性、ノイズのあるエッジ、ラベルノイズに対する耐性を向上させること。
• リソース制限環境におけるバッチ処理、並列化、スケーラビリティを可能にすること。
• 多様なグラフモダリティに適用可能な軽量で効率的かつ一般化可能なクラスタリングフレームワークの開発すること。

提案手法

• グラフ畳み込みやアテンション機構を一切使用しない、シンプルなマルチレイヤーパーセプトロン（MLP）オートエンコーダーを用いて、ノード表現を学習する。
• 最終埋め込み層における対照的損失を課し、共有の近隣影響を持つノード間の類似性を促進することで、グラフ構造を強制する。
• SCGC*では、多階層近隣影響を統合する影響拡張対照的（IAC）損失を導入し、より強いインダクティブバイアスを実現する。
• 自己教師付きソフトクラスタリングヘッドを採用し、埋め込み空間からの信頼度スコアを反復的に用いてクラスタ割り当てを改善する。
• モデルアーキテクチャとグラフ構造を分離することで、隣接行列に依存しない、容易な並列化とバッチ処理を可能にする。
• 隣接行列を必要としない線形時間の推論プロセスを採用し、エッジデバイスへの高速デプロイを実現する。

実験結果

リサーチクエスチョン

• RQ1 GNNや隣接情報の使用なしに、グラフクラスタリングを効果的に行うことは可能か？
• RQ2 オートエンコーダーに基づくクラスタリングにおいて、対照的学習はどのように構造的インダクティブバイアスを強制するか？
• RQ3 軽量でGNNでないモデルは、過剰平滑化、ノイズ、異種性に対して耐性を示しながらも、最先端の性能を達成できるか？
• RQ4 影響ベースの対照的学習は、クラスタリング品質と学習効率にどのような影響を与えるか？
• RQ5 モデルは効率的にバッチ処理され、並列化可能であり、大規模グラフへのスケーラビリティを実現できるか？

主な発見

• SCGC*は、DBLPの引用ネットワークにおいて、調整ランダムインデックス（ARI）を20%向上、正規化相互情報量（NMI）を18%向上させ、最先端モデルを上回った。
• 複数のデータセットにおいて、2番目に優れたベースラインであるAGCNと比較して、学習時間を55%短縮、推論時間を81%短縮した。
• 対照的損失とソフトクラスタリングメカニズムのおかげで、過剰平滑化、ノイズのあるエッジ、異種性に対して耐性がある。
• SCGC*に導入された影響拡張対照的（IAC）損失により、明示的なGNNレイヤーなしで長距離依存関係を効果的にモデル化できた。
• 多くの先行するGNNベースのモデルとは異なり、モデルはバッチ処理に完全に適合しており、容易に並列化可能である。
• SCGCの推論は隣接行列を必要とせず、バッチサイズに対して線形時間の時間計算量に抑えられ、エッジデプロイが高速化された。