[論文レビュー] RoSA: A Robust Self-Aligned Framework for Node-Node Graph Contrastive Learning

Yun Zhu, Jianhao Guo+2 more|ArXiv.org|Apr 29, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

RoSAは、グラフベースのエアス・エムズ・ディスタンス（g-EMD）と非教師付き adversarial 学習を用いて、ノード-ノードグラフ対照的学習のための新しい自己整合型フレームワークを提案する。非一致する視点においても効果的な表現学習を可能にし、同定されたノード対応関係を必要としない。同フレームワークは、同型的・非同型的・動的グラフのすべてにおいて最先端の性能を達成し、明示的なノード対応が不要であるにもかかわらず、強靱性と一般化性能を示している。

ABSTRACT

Graph contrastive learning has gained significant progress recently. However, existing works have rarely explored non-aligned node-node contrasting. In this paper, we propose a novel graph contrastive learning method named RoSA that focuses on utilizing non-aligned augmented views for node-level representation learning. First, we leverage the earth mover's distance to model the minimum effort to transform the distribution of one view to the other as our contrastive objective, which does not require alignment between views. Then we introduce adversarial training as an auxiliary method to increase sampling diversity and enhance the robustness of our model. Experimental results show that RoSA outperforms a series of graph contrastive learning frameworks on homophilous, non-homophilous and dynamic graphs, which validates the effectiveness of our work. To the best of our awareness, RoSA is the first work focuses on the non-aligned node-node graph contrastive learning problem. Our codes are available at: \href{https://github.com/ZhuYun97/RoSA}{ exttt{https://github.com/ZhuYun97/RoSA}}

研究の動機と目的

• 視点間に一貫性のないノード集合と明示的な対応関係がない非一致ノード-ノードグラフ対照的学習に対する有効な手法の欠如に取り組む。
• 視点間の整合性を必要としない対照的目的関数を設計し、より高いサンプリングの柔軟性と強靱性を実現する。
• ノード特徴量における非教師付きadversarial 学習を活用し、モデルの強靱性と表現の多様性を向上させる。
• 同型的・非同型的・動的グラフを含む多様なグラフタイプにおいて、フレームワークの有効性を検証する。特に、整合済み手法が失敗または性能を発揮しない分野で有効であることを示す。

提案手法

• 異なるノードを中心として生成される非一致サブグラフ視点を得るために、リスタート付きランダムウォークを用いる。同じ中心ノードからの視点を正例ペアとみなす。
• ノード対応が不要な状態で、非一致する視点間の分布的類似度を測定するため、g-EMD（グラフベースのエアス・エムズ・ディスタンス）を対照的損失として導入する。
• g-EMDにおける修正コスト行列を導入し、グラフ構造のトポロジー的および特徴ベースの関係をよりよく捉える。
• ノード特徴量における非教師付きadversarial 学習を統合し、サンプリングの多様性を高め、分布シフトに対して強いモデルを構築する。
• 標準的なGNNエンコーダ（例：GCN、GraphSAGE）を用いて特徴抽出を行い、対照的目的関数をノードレベルに適用する。
• g-EMDに対応するようにInfoNCE損失を変更し、明示的な整合性が不要なエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複雑なグラフ設定において、非一致ノード-ノード対照的学習は、一致済み手法よりも優れた表現学習を達成できるか？
• RQ2 視点間のノード対応が不要な状態で、どのように対照的目的関数を設計できるか？
• RQ3 adversarial 学習は、非教師付きグラフ対照的学習におけるサブグラフサンプリングの強靱性と多様性を向上させられるか？
• RQ4 提案されたフレームワークは、同型的・非同型的・動的グラフのすべてに一般化可能か？
• RQ5 g-EMDは、構造的および特徴情報の両方を保持しつつ、非一致グラフ視点間の類似度を効果的に測定できるか？

主な発見

• RoSAは、インダクティブ学習下でF1スコア51.2±0.1を達成し、Flickrデータセットですべてのベースラインを上回る最先端の性能を示した。
• Redditデータセットでは、RoSAはF1スコア95.2±0.0を達成し、以前のSOTA手法GRACEを1.0ポイント上回った。
• 動的グラフ設定では、CIAW*でF1スコア73.2±9.3を達成し、GraphSAGEやGRACEを上回った。GRACEはその整合性依存性のため失敗した。
• アブレーションスタディの結果、g-EMD、修正コスト行列、adversarial 学習を削除すると性能が著しく低下し、各モジュールの貢献が裏付けられた。
• 非一致設定下でも、RoSAは一致済み手法と同等またはそれ以上の性能を示し、視点の不整合に対処する能力を実証した。
• 非同型的グラフを含む多様なグラフタイプにわたり、RoSAは良好な一般化性能を示し、他のモデルと比較して顕著に優れた性能を発揮した。