[论文解读] Generalizing Graph Neural Networks on Out-Of-Distribution Graphs

Shaohua Fan, Xiao Wang+3 more|arXiv (Cornell University)|Nov 20, 2021

Advanced Graph Neural Networks参考文献 61被引用 9

一句话总结

该论文提出StableGNN，一种因果表征框架，通过高阶子图表征学习和因果变量区分正则化器，减轻虚假相关性，从而提升图神经网络在分布外（OOD）图上的泛化能力。该方法在八个OOD图基准上实现最先进性能，通过聚焦真实结构基序而非虚假基序，展现出更强的鲁棒性和可解释性。

ABSTRACT

Graph Neural Networks (GNNs) are proposed without considering the agnostic distribution shifts between training and testing graphs, inducing the degeneration of the generalization ability of GNNs on Out-Of-Distribution (OOD) settings. The fundamental reason for such degeneration is that most GNNs are developed based on the I.I.D hypothesis. In such a setting, GNNs tend to exploit subtle statistical correlations existing in the training set for predictions, even though it is a spurious correlation. However, such spurious correlations may change in testing environments, leading to the failure of GNNs. Therefore, eliminating the impact of spurious correlations is crucial for stable GNNs. To this end, we propose a general causal representation framework, called StableGNN. The main idea is to extract high-level representations from graph data first and resort to the distinguishing ability of causal inference to help the model get rid of spurious correlations. Particularly, we exploit a graph pooling layer to extract subgraph-based representations as high-level representations. Furthermore, we propose a causal variable distinguishing regularizer to correct the biased training distribution. Hence, GNNs would concentrate more on the stable correlations. Extensive experiments on both synthetic and real-world OOD graph datasets well verify the effectiveness, flexibility and interpretability of the proposed framework.

研究动机与目标

• 解决GNN在分布外（OOD）图上因分布偏移导致的性能退化问题。
• 识别出在独立同分布（i.i.d.）假设下训练的GNN中，子图级单元间虚假相关性是导致泛化能力差的根本原因。
• 通过利用因果推断原则，构建一个可泛化的框架，提升GNN在OOD设置下的稳定性。
• 使模型能够聚焦于真正具有判别性的子结构，而非训练数据中与标签相关的虚假特征。
• 通过对齐模型注意力与因果性、有意义的子图结构，提供可解释性。

提出的方法

• 引入一种可微图池化层，以端到端方式从原始图数据中提取高层次、基于子图的表征。
• 从因果视角建模问题，识别出无关子结构（如“星型”基序）与标签（如“房屋”基序）之间的虚假相关性。
• 提出一种受混杂变量平衡技术启发的因果变量区分正则化器（CVD），用于学习校正偏差训练分布的样本权重。
• 利用CVD正则化器最小化高层次表征与虚假特征之间的希尔伯特-施密特独立性准则（HSIC），以提升模型鲁棒性。
• 将CVD正则化器整合到统一框架中，联合优化表征学习与因果校正过程。
• 支持可学习聚类分配的端到端训练，使模型能够动态适应高层次表征的数量。

Figure 1: Visualization of subgraph importance for “house” motif classification task, produced by the vanilla GCN model and StableGNN when most of training graphs containing “house” motifs with “star” motifs. The red subgraph indicates the most important subgraph used by the model for prediction (ge

实验结果

研究问题

• RQ1 在OOD设置下，子图单元与标签之间的虚假相关性在多大程度上导致GNN泛化能力下降？
• RQ2 当测试分布与训练分布不同时，因果表征学习是否能提升GNN的鲁棒性？
• RQ3 所提出的因果变量区分正则化器是否能有效减少图级别预测任务中对虚假特征的依赖？
• RQ4 该框架能否灵活集成到现有GNN架构中，以增强其OOD泛化能力？
• RQ5 模型的注意力机制是否与有意义、可解释的子结构（如分子中的功能基团）对齐，而非虚假基序？

主要发现

• StableGNN在八个真实世界OOD图数据集上实现最先进性能，优于现有SOTA方法，包括GraphSAGE和GraphSAGE-Decorr。
• 在OGB-Mol*基准上，StableGNN在Molbbbp上达到90.96% ± 1.93的准确率，在Molclintox上达到90.44% ± 0.79，显著优于基线方法如GraphSAGE（86.51%和88.89%）和GraphSAGE-Decorr（88.89%和88.89%）。
• CVD正则化器收敛迅速，数个训练周期内即显著降低HSIC值，表明其对虚假相关性的有效抑制。
• 消融实验表明，移除CVD正则化器（StableGNN-NoCVD）导致性能下降，证实其对鲁棒性的必要性。
• 使用GNNExplainer进行的可解释性分析表明，StableGNN能正确识别出生物相关基序（如MUTAG中的NO₂和NH₂），而基线方法则聚焦于虚假特征。
• 该框架对预定义聚类数具有鲁棒性，StableGNN在所有数据集上均持续优于StableGNN-NoCVD，验证了CVD正则化器的有效性。

Figure 2: Causal graph for data generation process. Gray nodes and white nodes mean the unobserved latent variables and the observed variables, respectively.