[论文解读] Let Invariant Rationale Discovery Inspire Graph Contrastive Learning

Sihang Li, Xiang Wang+4 more|arXiv (Cornell University)|Jun 16, 2022

Advanced Graph Neural Networks被引用 23

一句话总结

RGCL 自动发现推理子图以创建不变、具备推理感知的视图用于图对比学习，在多个基准上实现了最先进的结果。

ABSTRACT

Leading graph contrastive learning (GCL) methods perform graph augmentations in two fashions: (1) randomly corrupting the anchor graph, which could cause the loss of semantic information, or (2) using domain knowledge to maintain salient features, which undermines the generalization to other domains. Taking an invariance look at GCL, we argue that a high-performing augmentation should preserve the salient semantics of anchor graphs regarding instance-discrimination. To this end, we relate GCL with invariant rationale discovery, and propose a new framework, Rationale-aware Graph Contrastive Learning (RGCL). Specifically, without supervision signals, RGCL uses a rationale generator to reveal salient features about graph instance-discrimination as the rationale, and then creates rationale-aware views for contrastive learning. This rationale-aware pre-training scheme endows the backbone model with the powerful representation ability, further facilitating the fine-tuning on downstream tasks. On MNIST-Superpixel and MUTAG datasets, visual inspections on the discovered rationales showcase that the rationale generator successfully captures the salient features (i.e. distinguishing semantic nodes in graphs). On biochemical molecule and social network benchmark datasets, the state-of-the-art performance of RGCL demonstrates the effectiveness of rationale-aware views for contrastive learning. Our codes are available at https://github.com/lsh0520/RGCL.

研究动机与目标

• 从不变性视角动机化图对比学习并识别随机与知识引导增强的局限性。
• 提出不变性推理发现（IRD）作为设计面向GCL的推理感知增强的桥梁。
• 开发 RGCL 以联合学习推理生成器与用于对比预训练的主干编码器。
• 通过在生化分子、社交网络和图像派生图数据集上的广泛实验，展示 RGCL 的有效性。

提出的方法

• 将推理定义为一个判别性子图子集并将其选择建模为概率过程。
• 训练输出节点归因分数 p(v|g) 的推理生成器 r(g)，并据此采样 R(g) 和 C(g)。
• 通过对推理子图应用带有节点权重的 GNN 来表示 R(g)，产生 x_R；同样计算 complement 的 x_C。
• 使用投射头获得 r 与 c，并通过将充分性（l_s）与独立性（l_in）目标联合优化的损失函数来训练。
• 通过 min_r,f,h E_g[l_s(g) + λ l_in(g)] 来优化 RGCL，促进不变且具推理感知的视图，同时将推理与其补集分离。

实验结果

研究问题

• RQ1 RQ1: 推理生成器是否能够可靠地识别在图数据中支持实例区分的语义显著节点？
• RQ2 RQ2: 相较基线方法，推理感知的视图是否提升下游任务的 GCL 性能与迁移学习效果？
• RQ3 RQ3: 充分性与独立性目标如何促进学习鲁棒且不变的推理？
• RQ4 RQ4: RGCL 在不同领域（生物化学分子、社交网络、以及图像派生图）中的表现如何？

主要发现

Dataset	No Pre-Train	AttrMasking	ContextPred	GraphCL	GraphLoG*	AD-GCL*	RGCL (Ours)
BBBP	65.8 ± 4.5	64.3 ± 2.8	68.0 ± 2.0	69.68 ± 0.67	71.04 ± 1.86	68.26 ± 1.03	71.42 ± 0.66
Tox21	74.0 ± 0.8	76.7 ± 0.4	75.7 ± 0.7	73.87 ± 0.66	74.65 ± 0.60	73.56 ± 0.72	75.20 ± 0.34
ToxCast	63.4 ± 0.6	64.2 ± 0.5	63.9 ± 0.6	62.40 ± 0.57	62.32 ± 0.51	63.10 ± 0.66	63.33 ± 0.17
SIDER	57.3 ± 1.6	61.0 ± 0.7	60.9 ± 0.6	60.53 ± 0.88	57.86 ± 1.44	59.24 ± 0.86	61.38 ± 0.61
ClinTox	58.0 ± 4.4	71.8 ± 1.4	65.9 ± 3.8	75.99 ± 2.65	78.72 ± 2.58	77.63 ± 4.21	83.38 ± 0.91
MUV	71.8 ± 2.5	74.7 ± 1.4	75.8 ± 1.7	69.80 ± 2.66	74.95 ± 1.96	74.94 ± 2.54	76.66 ± 0.99
HIV	75.3 ± 1.9	77.2 ± 1.4	77.3 ± 1.0	78.47 ± 1.22	82.6 ± 1.25	75.45 ± 1.88	77.90 ± 0.80
BACE	70.1 ± 5.4	79.3 ± 1.6	79.6 ± 1.2	75.38 ± 1.44	82.6 ± 1.25	75.02 ± 1.88	76.03 ± 0.77
AVG	67.0	71.1	70.9	70.77	72.16	70.90	73.16

• RGCL 在生物化学和社交网络基准上达到最先进或具竞争力的性能，优于若干强基线 GCL。
• 以推理为引导的视图保留了更多语义信息，并在 MoleculeNet 数据集上提升了迁移学习精度（论文中给出 AVG 增益）。
• 消融研究表明移除推理视图或独立性项会降低性能，强调所提组件的重要性。
• 可视化结果显示推理生成器主要集中在语义上有意义的中心节点（语义区域），并通过边缘/背景区域保持多样性。
• 在 MNIST-Superpixel 数据集上，RGCL 的表现优于 GraphCL 及其他基线，展示了在非分子领域的有效性。
• 在下游任务中，RGCL 在 MoleculeNet 和 TU 数据集上获得的平均 ROC-AUC 高于若干无监督基线。