[論文レビュー] Community-Invariant Graph Contrastive Learning

Shiyin Tan, Dongyuan Li+3 more|arXiv (Cornell University)|May 2, 2024

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、トポロジー空間および特徴空間の両方でスペクトル変化を最大化することで、増幅中にコミュニティ構造を維持する学習可能グラフ対照学習フレームワークであるCI-GCLを提案する。トポロジーと特徴の増幅をスペクトル最適化によるコミュニティ不変制約の下で統合することにより、CI-GCLは耐性を高め、21のベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Graph augmentation has received great attention in recent years for graph contrastive learning (GCL) to learn well-generalized node/graph representations. However, mainstream GCL methods often favor randomly disrupting graphs for augmentation, which shows limited generalization and inevitably leads to the corruption of high-level graph information, i.e., the graph community. Moreover, current knowledge-based graph augmentation methods can only focus on either topology or node features, causing the model to lack robustness against various types of noise. To address these limitations, this research investigated the role of the graph community in graph augmentation and figured out its crucial advantage for learnable graph augmentation. Based on our observations, we propose a community-invariant GCL framework to maintain graph community structure during learnable graph augmentation. By maximizing the spectral changes, this framework unifies the constraints of both topology and feature augmentation, enhancing the model's robustness. Empirical evidence on 21 benchmark datasets demonstrates the exclusive merits of our framework. Code is released on Github (https://github.com/ShiyinTan/CI-GCL.git).

研究の動機と目的

• 既存のグラフ対照学習手法がランダムまたは知識に基づく増幅によってコミュニティ構造を破壊するという限界に対処すること。
• ハイレベルなグラフコミュニティ構造を保存する、トポロジーと特徴の増幅を統合する単一で強固な制約を確立すること。
• 多様なグラフデータセットに適応可能で、微分可能かつ効率的な学習可能増幅フレームワークを開発すること。
• 理論的および実験的に、スペクトル変化を最大化することでトポロジー空間および特徴空間の両方でコミュニティ不変性が保持されることを検証すること。

提案手法

• トポロジー増幅中にコミュニティ不変性を強制するために、グラフラプラシアンのスペクトル変化を最大化する。これは、スペクトル変化とコミュニティ破壊の負の相関を利用する。
• 特徴増幅のために、共クラスタリングを用いて特徴行列を対称的二部行列に変換し、特徴摂動にスペクトルベースの制約を適用可能にする。
• トポロジーと二部特徴増幅の両方に統一されたスペクトル変化損失を適用し、コミュニティ構造の保存を保証する。
• 正規化ラプラシアンの最小固有値を用いてコミュニティ構造を制約し、固有値とコミュニティ分割の関係を理論的に証明する。
• フレームワークはエンドツーエンド微分可能であり、バックプロパゲーションを効率的に行うことが可能で、増幅と表現学習の共同最適化を可能にする。
• コミュニティ不変性は、スペクトルの変化を最大化することで強制され、これによりデータ増幅中に下位のコミュニティ構造が間接的に保存される。

実験結果

リサーチクエスチョン

• RQ1 グラフ増幅中にスペクトル変化を最大化することで、トポロジー空間および特徴空間の両方で下位のコミュニティ構造を保持できるか？
• RQ2 学習可能グラフ対照学習フレームワークにおいて、トポロジーと特徴増幅を同時に処理する統一制約をどのように設計できるか？
• RQ3 スペクトル最適化によるコミュニティ不変性の強制が、多様なグラフデータセットにおけるモデルの耐性および汎化性能を向上させるか？
• RQ4 二部共クラスタリングを介して、スペクトルベースの制約をトポロジーから特徴増幅へ効果的に拡張できるか？

主な発見

• CI-GCLは21のベンチマークグラフデータセットで最先端の性能を達成し、ノード分類およびリンク予測タスクで既存手法を上回る。
• トポロジーと特徴増幅の両方に統一的でコミュニティ不変な制約を設けるため、さまざまなノイズに対して優れた耐性を示す。
• 実験結果から、スペクトル変化の最大化とコミュニティ構造の保存が強く相関していることが示され、核心的な理論的仮定が妥当であることが裏付けられた。
• 学術的データセット、学術ネットワーク、生物学的グラフ、ソーシャルネットワークを含む多様なデータセットで一貫した向上が得られ、汎化能力の高さが確認された。
• アブレーションスタディにより、スペクトルベースの制約が特徴のみまたはトポロジーのみの制約よりも、コミュニティ不変性の維持においてより効果的であることが確認された。