[論文レビュー] Learning Invariant Representations of Graph Neural Networks via Cluster Generalization

Donglin Xia, Xiao Wang+2 more|arXiv (Cornell University)|Mar 6, 2024

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本論文は、クラスターレベルの統計（平均と分散）をノード間で転送することで、グラフ構造の変化に対して頑健性を向上させる、プラグイン型のメカニズム、Cluster Information Transfer (CIT) を提案する。この手法により、クラスタに依存しない特徴を保持したまま、グラフ構造の変化に強い表現を学習できる。実験結果により、多様で未知のテストグラフにおいて一貫した性能向上が確認された。

ABSTRACT

Graph neural networks (GNNs) have become increasingly popular in modeling graph-structured data due to their ability to learn node representations by aggregating local structure information. However, it is widely acknowledged that the test graph structure may differ from the training graph structure, resulting in a structure shift. In this paper, we experimentally find that the performance of GNNs drops significantly when the structure shift happens, suggesting that the learned models may be biased towards specific structure patterns. To address this challenge, we propose the Cluster Information Transfer (CIT) mechanism (Code available at https://github.com/BUPT-GAMMA/CITGNN), which can learn invariant representations for GNNs, thereby improving their generalization ability to various and unknown test graphs with structure shift. The CIT mechanism achieves this by combining different cluster information with the nodes while preserving their cluster-independent information. By generating nodes across different clusters, the mechanism significantly enhances the diversity of the nodes and helps GNNs learn the invariant representations. We provide a theoretical analysis of the CIT mechanism, showing that the impact of changing clusters during structure shift can be mitigated after transfer. Additionally, the proposed mechanism is a plug-in that can be easily used to improve existing GNNs. We comprehensively evaluate our proposed method on three typical structure shift scenarios, demonstrating its effectiveness in enhancing GNNs' performance.

研究の動機と目的

• 実世界のグラフにおける分布シフトの代表的な形態であるグラフ構造シフトに起因するGNN性能の低下を是正すること。
• 推論時におけるグラフトポロジの変化に強く、不変な表現を学習できる手法の開発。
• 既存のGNNアーキテクチャと互換性があり、アーキテクチャの大幅な見直しを伴わずに一般化性能を向上できるプラグインソリューションの提供。
• クラスタ情報転送が構造シフト時のクラスタ割り当ての変化に与える影響を理論的・実験的に検証すること。

提案手法

• GNNを用いて初期のノード表現を学習し、その後スペクトルクラスタリングを用いてグラフ内のクラスタ構造を同定する。
• 各クラスタを2つの統計量（クラスタ平均とクラスタ分散）で特徴づけ、これらを転送可能な情報として扱う。
• ノードをこれらの統計量に基づいて再割り当てすることで新しいクラスタに移行させつつ、ノードの固有のクラスタに依存しない特徴を保持する。
• 新たに生成されたノード表現上でGNNを訓練することで、異なるクラスタ構成に対しても一般化性能を向上させる。
• さまざまなGNNモデルに簡単に適用可能な、最小限の修正で実装可能なプラグインレイヤーとしてCITメカニズムを統合する。
• 理論的分析により、情報転送後に推論時のクラスタシフトの影響が軽減されることが示され、頑健性が裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 テストグラフの構造がトレーニング時と異なる場合、GNNは安定した性能を維持できるか？
• RQ2 GNNにおいて構造シフトに強い不変表現をどのように学習できるか？
• RQ3 クラスタレベルの統計量を用いて、一般化性能を向上させる多様なトレーニング環境を効果的に生成できるか？
• RQ4 CITメカニズムは、グラフ構造シフトに起因する性能低下をどの程度軽減できるか？

主な発見

• 標準的なGNNは構造シフト下で顕著に性能が低下しており、特定のグラフ構造に強く偏っていることが示された。
• CITメカニズムは、エッジの追加や削除を含む3つの典型的な構造シフトシナリオにおいて、一貫してGNNの性能を向上させた。
• ランク相関係数を用いたクラスタリング品質の測定により、クラスタリングの質がCIT性能に強く相関していることが判明し、効果的なクラスタリングがCITの効果を高めることを示した。
• クラスタ数や転送確率といったハイパーパrameterに対しても頑健であり、異なる設定でも安定した性能を示した。
• 理論的分析により、CITによる情報転送後に構造シフト時のクラスタ変更の影響が軽減されることが確認された。
• CITメカニズムは、アーキテクチャの変更なしにさまざまなGNNモデルに即座に統合可能なプラグイン型の強化手法である。