[论文解读] Handling Distribution Shifts on Graphs: An Invariance Perspective

Qitian Wu, Hengrui Zhang+2 more|arXiv (Cornell University)|Feb 5, 2022

Health, Environment, Cognitive Aging被引用 30

一句话总结

本文将图节点级预测的分布外（OOD）泛化形式化，并引入 Explore-to-Extrapolate Risk Minimization (EERM)，通过对抗性图编辑器来强化不变量特征，从而在分布变化下提升 GNN 的鲁棒性。

ABSTRACT

There is increasing evidence suggesting neural networks' sensitivity to distribution shifts, so that research on out-of-distribution (OOD) generalization comes into the spotlight. Nonetheless, current endeavors mostly focus on Euclidean data, and its formulation for graph-structured data is not clear and remains under-explored, given two-fold fundamental challenges: 1) the inter-connection among nodes in one graph, which induces non-IID generation of data points even under the same environment, and 2) the structural information in the input graph, which is also informative for prediction. In this paper, we formulate the OOD problem on graphs and develop a new invariant learning approach, Explore-to-Extrapolate Risk Minimization (EERM), that facilitates graph neural networks to leverage invariance principles for prediction. EERM resorts to multiple context explorers (specified as graph structure editers in our case) that are adversarially trained to maximize the variance of risks from multiple virtual environments. Such a design enables the model to extrapolate from a single observed environment which is the common case for node-level prediction. We prove the validity of our method by theoretically showing its guarantee of a valid OOD solution and further demonstrate its power on various real-world datasets for handling distribution shifts from artificial spurious features, cross-domain transfers and dynamic graph evolution.

研究动机与目标

• 通过利用自我图（ego-graphs）和局部数据生成，为图上节点级任务的 OOD 问题建模。
• 开发基于不变量的学习范式，以提取用于图预测的稳定、不变特征。
• 提出 EERM，通过对抗性图编辑来模拟多环境，并训练模型以最小化风险的均值和方差。
• 提供理论保证，将不变量驱动的目标与有效的 OOD 解决方案以及对 OOD 误差的上界联系起来。
• 在多种现实世界图数据集、不同的 GNN 主干网络以及分布转移场景下，实证验证 EERM。

提出的方法

• 围绕目标节点定义 ego-graphs G_v，以分解图数据用于节点级 OOD，实现两步抽样视图。
• 提出假设 1（不变量特性）以及基于递归的 BFS 树的汇聚 r_v，以捕捉不变量的预测特征。
• 引入 EERM 目标，它在多环境下对风险的均值和方差的加权组合进行最小化（Eq. 4）。
• 使用 K 个辅助上下文生成器 g_wk(G) 通过对抗性图编辑生成 K 种图视图；训练生成器以最大化风险方差，而预测器最小化它（Eq. 5）。
• 在构建图视图时，使用 REINFORCE 来优化边编辑动作，使非可微分性下的学习变得可行。
• 提供理论结果（定理 1–3），将不变量表示与最优的 OOD 解决方案联系起来并界定 OOD 泛化误差的界限。

实验结果

研究问题

• RQ1 在考虑互连数据与图结构的情况下，如何为图上的节点级任务表述 OOD 泛化？
• RQ2 是否可以为图学习出基于不变量的表示，使预测在不同环境下保持稳定？
• RQ3 在对抗性图编辑上强制执行风险的均值-方差最小化是否有助于提升对未见环境的外推？
• RQ4 提出的不变量学习目标如何与有效的 OOD 解决方案以及受限的 OOD 误差相关的理论保证？
• RQ5 跨多样数据集和不同 GNN 主干的实验是否在分布变动下显示出稳健的改进？

主要发现

• 提出的 EERM 方法在多份数据集上，在人工、跨领域和动态图转变下，持续优于标准经验风险最小化。
• 基于递归 BFS-tree 聚合的不变量化汇聚能够在不同环境中捕捉稳定的预测特征。
• 通过 K 个上下文生成器生成并经 REINFORCE 优化的对抗性图编辑，有效模拟多环境以实现鲁棒学习。
• 理论分析表明，最小化 EERM 目标会在学习表示中强化充分性和不变量性，从而得到有效的 OOD 解决方案并降低 OOD 误差界。
• 实证结果显示 EERM 在多份数据集和多种 GNN 主干（如 GCN、GAT、GraphSAGE、GCNII、GPRGNN）下，在各种分布转变下提升了泛化能力。