[論文レビュー] Let Invariant Rationale Discovery Inspire Graph Contrastive Learning

Sihang Li, Xiang Wang+4 more|arXiv (Cornell University)|Jun 16, 2022

Advanced Graph Neural Networks被引用数 23

ひとこと要約

RGCLは自動的に推論サブグラフを発見し、不変で推論意識を備えたビューを作成してグラフコントラスト学習を行い、複数のベンチマークで最先端の結果を達成します。

ABSTRACT

Leading graph contrastive learning (GCL) methods perform graph augmentations in two fashions: (1) randomly corrupting the anchor graph, which could cause the loss of semantic information, or (2) using domain knowledge to maintain salient features, which undermines the generalization to other domains. Taking an invariance look at GCL, we argue that a high-performing augmentation should preserve the salient semantics of anchor graphs regarding instance-discrimination. To this end, we relate GCL with invariant rationale discovery, and propose a new framework, Rationale-aware Graph Contrastive Learning (RGCL). Specifically, without supervision signals, RGCL uses a rationale generator to reveal salient features about graph instance-discrimination as the rationale, and then creates rationale-aware views for contrastive learning. This rationale-aware pre-training scheme endows the backbone model with the powerful representation ability, further facilitating the fine-tuning on downstream tasks. On MNIST-Superpixel and MUTAG datasets, visual inspections on the discovered rationales showcase that the rationale generator successfully captures the salient features (i.e. distinguishing semantic nodes in graphs). On biochemical molecule and social network benchmark datasets, the state-of-the-art performance of RGCL demonstrates the effectiveness of rationale-aware views for contrastive learning. Our codes are available at https://github.com/lsh0520/RGCL.

研究の動機と目的

• グラフコントラスト学習を不変性の観点から動機づけ、ランダムな拡張と知識 Guided 拡張の限界を特定する。
• GCLのための推論可能な拡張を設計する橋渡しとして不変推論発見（IRD）を提案する。
• グラフコントラスト事前学習のために推論生成器とバックボーンエンコーダを共同学習するRGCLを開発する。
• 生化学分子、ソーシャルネットワーク、画像由来グラフデータセットに関する広範な実験を通じてRGCLの有効性を示す。

提案手法

• 推論を識別的サブグラフの部分集合として定義し、その選択を確率的プロセスとしてモデル化する。
• ノードアトリビューションスコアp(v|g)を出力し、それに応じてR(g)とC(g)をサンプルする推論生成器r(g)を訓練する。
• R(g)をノードごとに重み付けした推論サブグラフにGNNを適用してx_Rを生成し、補集合についても同様にx_Cを計算する。
• 射影ヘッドを用いてrとcを得て、充足性(l_s)と独立性(l_in)の目的を組み合わせたジョイント損失を最適化する。
• RGCLを最適化してmin_r,f,h E_g[l_s(g) + λ l_in(g)]とし、推論を不変で推論意識のあるビューを促進しつつ推論を補集合から分離する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 推論生成器は、グラフデータにおいてインスタンス識別をサポートする意味的に顕著なノードを信頼性高く識別できるか。
• RQ2 RQ2: 推論意識のあるビューは、ベースライン手法と比較して下流タスクや転移学習でGCLの性能を改善するか。
• RQ3 RQ3: 充足性と独立性の目的は、堅牢で不変な推論を学習するのにどのように寄与するか。
• RQ4 RQ4: RGCLは生化学分子、ソーシャルネットワーク、画像由来グラフなど多様なドメインでどのように性能を発揮するか。

主な発見

Dataset	No Pre-Train	AttrMasking	ContextPred	GraphCL	GraphLoG*	AD-GCL*	RGCL (Ours)
BBBP	65.8 ± 4.5	64.3 ± 2.8	68.0 ± 2.0	69.68 ± 0.67	71.04 ± 1.86	68.26 ± 1.03	71.42 ± 0.66
Tox21	74.0 ± 0.8	76.7 ± 0.4	75.7 ± 0.7	73.87 ± 0.66	74.65 ± 0.60	73.56 ± 0.72	75.20 ± 0.34
ToxCast	63.4 ± 0.6	64.2 ± 0.5	63.9 ± 0.6	62.40 ± 0.57	62.32 ± 0.51	63.10 ± 0.66	63.33 ± 0.17
SIDER	57.3 ± 1.6	61.0 ± 0.7	60.9 ± 0.6	60.53 ± 0.88	57.86 ± 1.44	59.24 ± 0.86	61.38 ± 0.61
ClinTox	58.0 ± 4.4	71.8 ± 1.4	65.9 ± 3.8	75.99 ± 2.65	78.72 ± 2.58	77.63 ± 4.21	83.38 ± 0.91
MUV	71.8 ± 2.5	74.7 ± 1.4	75.8 ± 1.7	69.80 ± 2.66	74.95 ± 1.96	74.94 ± 2.54	76.66 ± 0.99
HIV	75.3 ± 1.9	77.2 ± 1.4	77.3 ± 1.0	78.47 ± 1.22	82.6 ± 1.25	75.45 ± 1.88	77.90 ± 0.80
BACE	70.1 ± 5.4	79.3 ± 1.6	79.6 ± 1.2	75.38 ± 1.44	82.6 ± 1.25	75.02 ± 1.88	76.03 ± 0.77
AVG	67.0	71.1	70.9	70.77	72.16	70.90	73.16

• RGCLは生化学的およびソーシャルネットワークのベンチマークで最先端または競合的な性能を達成し、いくつかの強力なGCLベースラインを上回る。
• 推論ガイドビューはより多くの意味情報を保持し、MoleculeNetデータセットで転移学習精度を向上させる（論文にAVGゲインが報告されている）。
• アブレーション研究は、推論ビューまたは独立項を削除すると性能が劣化し、提案された構成要素の重要性を強調している。
• 可視化は推論生成器が意味的に有意なセンター ノード（セマンティックゾーン）に集中し、エッジ/背景領域によって多様性を維持することを示している。
• MNIST-SuperpixelではRGCLがGraphCLおよび他のベースラインを上回り、非分子ドメインでの有効性を示す。
• 下流タスク全体で、MoleculeNetおよび TUデータセットにおいて、RGCLは複数の非教師付きベースラインよりも平均ROC-AUCが高い。