[論文レビュー] Adversarial Graph Augmentation to Improve Graph Contrastive Learning

Susheel Suresh, Li Pan+2 more|arXiv (Cornell University)|Jun 10, 2021

Advanced Graph Neural Networks参考文献 80被引用数 141

ひとこと要約

AD-GCL は、グラフコントラスト学習のための学習可能な対立的グラフデータ拡張戦略を導入し、冗長情報を除去しダウンストリーム性能を改善する拡張を最適化する。無監督、トランスファー、半教師ありタスク全般に適用。

ABSTRACT

Self-supervised learning of graph neural networks (GNN) is in great need because of the widespread label scarcity issue in real-world graph/network data. Graph contrastive learning (GCL), by training GNNs to maximize the correspondence between the representations of the same graph in its different augmented forms, may yield robust and transferable GNNs even without using labels. However, GNNs trained by traditional GCL often risk capturing redundant graph features and thus may be brittle and provide sub-par performance in downstream tasks. Here, we propose a novel principle, termed adversarial-GCL (AD-GCL), which enables GNNs to avoid capturing redundant information during the training by optimizing adversarial graph augmentation strategies used in GCL. We pair AD-GCL with theoretical explanations and design a practical instantiation based on trainable edge-dropping graph augmentation. We experimentally validate AD-GCL by comparing with the state-of-the-art GCL methods and achieve performance gains of up-to $14\%$ in unsupervised, $6\%$ in transfer, and $3\%$ in semi-supervised learning settings overall with 18 different benchmark datasets for the tasks of molecule property regression and classification, and social network classification.

研究の動機と目的

• ラベルの希少性に対処するための自己監視型グラフ表現学習を促進する。
• GNNエンコーダと学習可能な拡張戦略を組み合わせた原理的なAD-GCLフレームワークを開発する。
• 対立的拡張がタスク関連情報を境界づけつつ冗長性を減らす理由を理論的に正当化する。
• 無監督、トランスファー、半教師あり設定で18データセットにわたりAD-GCLを実証的に検証する。

提案手法

• AD-GCL を最小-最大ゲームとして定式化する: ファミリー T の拡張 T に対する min、エンコーダ f の max によって I(f(G);f(t(G))) を最大化する。
• 各エッジ e の削除確率 ω_e がGNN拡張器によって決定される学習可能なエッジ削除を用いて T を具体化する。
• ω_e を GNN でパラメータ化し、訓練中にエッジ削除をサンプリングするために Gumbel-softmax 緩和を使用する。
• 過度に攻撃的な摂動を避けるため、グラフごとの平均削除確率を罰することで拡張を正則化する。
• ミニバッチで InfoNCE を用いて相互情報量項を推定し目的関数を最適化する。
• AD-GCL を情報ボトルネックの原理および1-WL 表現能力へ結びつける理論的洞察を提供する。

実験結果

リサーチクエスチョン

• RQ1 対立的に学習された拡張は、グラフコントラスト学習において固定または手動設計の拡張より優れていることがあり得るか？
• RQ2 拡張戦略を最適化することは、GNNエンコーダが捉えるタスク関連情報と冗長情報の量にどのような影響を与えるか？
• RQ3 AD-GCL はダウンストリームのラベルにアクセスせずとも、グラフ表現の頑健性と転移性を改善するか？
• RQ4 拡張探索空間の正則化がダウンストリームの性能に与える影響は？

主な発見

• AD-GCL は 18 データセットにわたり、教師なし・転移・半教師あり設定で最先端のベースラインを上回る顕著な利得を達成。
• 教師なしタスクでは、AD-GCL はベースラインと比較して最大で 14% の相対的な改善を示す。
• 転移および半教師ありタスクでは、AD-GCL はそれぞれ最大約 6% および 3% の一貫した改善を示す。
• AD-GCL が学習するエッジ削除拡張は、非対立的（ランダム）エッジ削除および事前定義された拡張戦略を上回る。
• 拡張探索空間の正則化（λ_reg）は有益であり、OPT 変種はデータセットを跨る堅牢性を提供できる。
• 学習された入力グラフ依存の拡張は、ダウンストリームタスクに関連する情報を維持しつつ、冗長情報を減らす。情報ボトルネックの直観と一致する。