[論文レビュー] Dual Information Enhanced Multi-view Attributed Graph Clustering

Jiaqi Lin, Man-Sheng Chen+3 more|arXiv (Cornell University)|Nov 28, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、特定情報再構成（SIR）モジュールを用いて一貫性情報と固有情報の分離を実現し、相互情報最大化（MIM）により高レベル表現学習を強化する、新しいマルチビュー属性付きグラフクラスタリング手法DIAGCを提案する。本手法は、低レベルおよび高レベルのグラフ構造と属性を効果的に捉えることで、実世界のベンチマークで最先端の性能を達成する。

ABSTRACT

Multi-view attributed graph clustering is an important approach to partition multi-view data based on the attribute feature and adjacent matrices from different views. Some attempts have been made in utilizing Graph Neural Network (GNN), which have achieved promising clustering performance. Despite this, few of them pay attention to the inherent specific information embedded in multiple views. Meanwhile, they are incapable of recovering the latent high-level representation from the low-level ones, greatly limiting the downstream clustering performance. To fill these gaps, a novel Dual Information enhanced multi-view Attributed Graph Clustering (DIAGC) method is proposed in this paper. Specifically, the proposed method introduces the Specific Information Reconstruction (SIR) module to disentangle the explorations of the consensus and specific information from multiple views, which enables GCN to capture the more essential low-level representations. Besides, the Mutual Information Maximization (MIM) module maximizes the agreement between the latent high-level representation and low-level ones, and enables the high-level representation to satisfy the desired clustering structure with the help of the Self-supervised Clustering (SC) module. Extensive experiments on several real-world benchmarks demonstrate the effectiveness of the proposed DIAGC method compared with the state-of-the-art baselines.

研究の動機と目的

• 共通表現学習の過程でビュー固有の構造的情報を無視する既存手法の限界を是正すること。
• マルチビュー属性付きグラフにおける低レベル特徴から意味のある高レベル表現を回復させることで、クラスタリング性能を向上させること。
• 統一された深層クラスタリングフレームワーク内で共通学習とビュー固有情報の分離を同時に最適化すること。
• 低レベルと高レベル表現間の相互情報量を最大化することで、表現品質を向上させること。
• アブレーションスタディと包括的なベンチマーク評価を通じて、各モジュールの有効性を検証すること。

提案手法

• 特定情報再構成（SIR）モジュールは、低レベル表現からビュー固有の隣接行列を再構成することで、一貫性情報と固有情報を分離し、GCNがより本質的な特徴を学習できるようにする。
• 相互情報最大化（MIM）モジュールは、低レベル表現と共有された高レベル表現の間の一致を最大化することで、クラスタリング指向の構造を保持する。
• 自己教師付きクラスタリング（SC）モジュールは、ソフトラベルとKLダイバージェンスを用いて高レベル表現が望ましいクラスタ割り当てと一致するように制約を課す。
• 全体の目的関数は再構成損失、相互情報最大化、およびクラスタリング損失を組み合わせることで、すべてのモジュールを同時に最適化する。
• エンコーダ、クラスタ重心、表現分布を反復的に更新する交互最適化戦略を用いて、エンドツーエンドでモデルを学習する。
• t-SNE可視化を用いて、学習された表現の明確さと分離性を定性的に検証する。

実験結果

リサーチクエスチョン

• RQ1 一貫性情報と固有情報を分離することで、マルチビュー属性付きグラフにおけるクラスタリング性能はどのように向上するか？
• RQ2 低レベルと高レベル表現間の相互情報最大化は、クラスタリング構造学習にどの程度寄与するか？
• RQ3 本手法DIAGCは、多様な実世界データセットにおいてハイパーパrameterの変動に対してどの程度頑健か？
• RQ4 SIR、MIM、SCの各モジュールが、全体のクラスタリング性能に果たす個別の貢献度は何か？
• RQ5 提案手法は、マルチビュー属性付きグラフベンチマークにおいて、最先端のベースラインを上回るクラスタリング結果を達成できるか？

主な発見

• アブレーションスタディの結果、MIMモジュールを削除するとクラスタリング性能が著しく低下し、高レベル構造の保持においてその重要性が示された。
• SIRモジュールを欠落させると、低レベル表現におけるビュー固有情報の干渉により、クラスタリング性能が劣化した。
• SCモジュールの導入により、ACM、DBLP、IMDBそれぞれでNMIが5.58%、1.03%、0.97%向上し、クラスタ割り当ての精練効果が確認された。
• すべてのベンチマークでハイパーパrameter α に対して頑健であり、テスト範囲内で安定した性能を示した。
• t-SNE可視化により、DEAGC や O2MAC といったベースラインと比較して、DIAGC がより明確で分離性の高いクラスタ構造を生成することが確認された。
• 収束解析の結果、損失関数がイテレーションに伴い単調に減少し、安定した学習ダイナミクスであることが示された。