[論文レビュー] Learning Graph Augmentations to Learn Graph Representations

Kaveh Hassani, Amir Hosein Khasahmadi|arXiv (Cornell University)|Jan 24, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

LG2AR は、確率的方策と補強ヘッドを用いて多様な補強空間から適応的にサンプリングする、グラフ対照学習のための最適なグラフ補強とビュー選択方策を自動で学習するエンドツーエンドフレームワークである。20のノードレベルおよびグラフレベルベンチマークのうち18で、線形および半教師付きプロトコルの両方において最先端の性能を達成している。

ABSTRACT

Devising augmentations for graph contrastive learning is challenging due to their irregular structure, drastic distribution shifts, and nonequivalent feature spaces across datasets. We introduce LG2AR, Learning Graph Augmentations to Learn Graph Representations, which is an end-to-end automatic graph augmentation framework that helps encoders learn generalizable representations on both node and graph levels. LG2AR consists of a probabilistic policy that learns a distribution over augmentations and a set of probabilistic augmentation heads that learn distributions over augmentation parameters. We show that LG2AR achieves state-of-the-art results on 18 out of 20 graph-level and node-level benchmarks compared to previous unsupervised models under both linear and semi-supervised evaluation protocols. The source code will be released here: https://github.com/kavehhassani/lg2ar

研究の動機と目的

• 不規則なグラフ構造や分布シフトの影響を受けるため、対照学習のための効果的でデータセット固有のグラフ補強を設計する課題に対処すること。
• 外層最適化を伴わず、手動によるハイパーパramータチューニングや試行錯誤による補強選択を排除し、補強の分布をエンドツーエンドで学習すること。
• 適応的補強方策とパラメータ分布を用いて、ノードレベルおよびグラフレベルの両タスクにおけるグラフ表現の一般化を向上させること。
• 補強方策とパラメータの両方を学習することで、固定または一様にサンプリングされた補強と比較して優れた性能を達成できることを示すこと。

提案手法

• LG2AR は、入力グラフデータセットに応じた補強タイプの分布を学習する確率的方策ネットワークを採用している。
• 各補強タイプ（例：エッジの摂動、特徴量マスキング、部分グラフ抽出）のパラメータ分布をモデル化する確率的補強ヘッドを導入している。
• 外部ループ最適化を用いずに、エンコーダー、補強方策、補強ヘッドをエンドツーエンドで同時に学習する。
• 相互情報推定器（例：NT-Xent や JSD）とディスクラミネーター（例：MLPベース）を用いた対照学習により、補強されたビュー間の一致を最大化している。
• 強化学習を用いて方策を訓練し、対照損失を最大化する補強をサンプリングすることで、データセットに適応した補強選択が可能になっている。
• 推論型およびインダクティブな学習設定の両方をサポートしており、ノードレベルおよびグラフレベル分類タスクへの応用が可能である。

実験結果

リサーチクエスチョン

• RQ1 手動による設計やハイパーパramータチューニングなしに、エンドツーエンドフレームワークが有効なグラフ補強を自動で学習できるか？
• RQ2 補強タイプとパラメータの分布を学習することで、固定または一様にサンプリングされた補強と比較して性能が向上するか？
• RQ3 異なる構造的および特徴量分布を示すグラフデータセットに対して、学習された方策はどのように適応するか？
• RQ4 全体の性能に与える補強方策の学習と補強パラメータの学習の相対的寄与度はどの程度か？
• RQ5 ノードレベルおよびグラフレベルの両タスクに一般化可能であり、SOTA の結果を達成できるか？

主な発見

• LG2AR は、線形および半教師付き評価プロトコルの両方において、20のベンチマークのうち18で最先端の性能を達成しており、特にグラフ分類タスクでは8/8、ノード分類タスクでは6/7で高い性能を示している。
• GRUベースの方策は、15のベンチマークのうち12でランダムおよび固定方策を上回り、効果的なデータセット固有の適応を示している。
• 方策は各データセットごとに異なる補強分布を学習しており、特に部分グラフ抽出とエッジ摂動が最も頻繁に選択されている。
• 確率的ヘッドを用いて補強パラメータを学習することで、ランダム方策を用いても、GraphCL よりも2.7%の絶対的精度向上が達成された。
• 構造的補強（例：エッジ摂動、部分グラフ抽出）が性能向上に寄与する割合が大きく、特徴空間の補強もすべての結果を向上させている。
• 相互情報推定器としての JSD と NT-Xent は NCE や DV よりも優れており、MLPベースのディスクラミネーターが全データセットで最高の性能を示している。