[论文解读] Discovering Invariant Rationales for Graph Neural Networks

Yingxin Wu, Xiang Wang+3 more|arXiv (Cornell University)|Jan 30, 2022

Explainable Artificial Intelligence (XAI)被引用 59

一句话总结

DIR 通过对非因果特征的干预来发现不变量因果理由，以学习鲁棒且可解释的图分类，从而在不同分布下具有更好的泛化能力。

ABSTRACT

Intrinsic interpretability of graph neural networks (GNNs) is to find a small subset of the input graph's features -- rationale -- which guides the model prediction. Unfortunately, the leading rationalization models often rely on data biases, especially shortcut features, to compose rationales and make predictions without probing the critical and causal patterns. Moreover, such data biases easily change outside the training distribution. As a result, these models suffer from a huge drop in interpretability and predictive performance on out-of-distribution data. In this work, we propose a new strategy of discovering invariant rationale (DIR) to construct intrinsically interpretable GNNs. It conducts interventions on the training distribution to create multiple interventional distributions. Then it approaches the causal rationales that are invariant across different distributions while filtering out the spurious patterns that are unstable. Experiments on both synthetic and real-world datasets validate the superiority of our DIR in terms of interpretability and generalization ability on graph classification over the leading baselines. Code and datasets are available at https://github.com/Wuyxin/DIR-GNN.

研究动机与目标

• 通过避免依赖在分布偏移下会失效的捷径特征，来激发 GNN 的内在可解释性。
• 提出一个因果、不变的 rationalization 框架来识别引导预测的环境不变因果模式。
• 开发 DIR 目标以及一个四模块 GNN 架构以提取并验证不变的理由。
• 提供理论论证和经验证据，显示在合成和真实数据集上有改进的泛化和可解释性。

提出的方法

• 用结构化因果模型 formalize 数据生成过程，将因果(C)和非因果(S)部分分离。
• 定义不变的合理化为在干预分布之间最小化风险，同时对环境的方差进行惩罚（DIR 目标）。
• 引入一个理由生成器将图分割为因果子图和非因果子图；一个分布干预器来创建干预分布；一个图编码器；以及两个对因果/非因果部分的分类器。
• 通过对 S 进行 do(S=s) 的干预来构建干预分布，并训练以识别在这些分布上产生不变 Y 的 C。
• 在干预下推断预测，并使用带掩蔽非因果贡献的联合预测来强调因果推理。
• 给出优化：DIR 目标结合期望干预风险与方差正则化（R_DIR）。
• 对非因果分支提供辅助损失以促进单独学习伪相关特征（R_S）。

实验结果

研究问题

• RQ1 RQ1: DIR 在发现因果特征与提升 GNN 泛化方面有多有效？
• RQ2 RQ2: 学习不变合理化时，会出现哪些训练动态和模式？
• RQ3 RQ3: DIR 发现的合理化是否在 OOD 数据上提升了可解释性和鲁棒性？

主要发现

模型	Spurious-Motif Balance	b=0.5	b=0.7	b=0.9	MNIST-75sp	Graph-SST2	Molhiv
ERM	42.99 \u0000b1 1.93	39.69 \u0000b1 1.73	38.93 \u0000b1 1.74	33.61 \u0000b1 1.02	12.71 \u0000b1 1.43	81.44 \u0000b1 0.59	76.20 \u0000b1 1.14
Attention	43.07 \u0000b1 2.55	39.42 \u0000b1 1.50	37.41 \u0000b1 0.86	33.46 \u0000b1 0.43	15.19 \u0000b1 2.62	81.57 \u0000b1 0.71	75.84 \u0000b1 1.33
ASAP	44.44 \u0000b1 8.19	44.25 \u0000b1 6.87	39.19 \u0000b1 4.39	31.76 \u0000b1 2.89	15.54 \u0000b1 1.87	81.57 \u0000b1 0.84	73.81 \u0000b1 1.17
Top- k Pool	43.43 \u0000b1 8.79	41.21 \u0000b1 7.05	40.27 \u0000b1 7.12	33.60 \u0000b1 0.91	14.91 \u0000b1 3.25	79.78 \u0000b1 1.35	73.01 \u0000b1 1.65
SAG Pool	45.23 \u0000b1 6.76	43.82 \u0000b1 6.32	40.45 \u0000b1 7.50	33.60 \u0000b1 1.18	14.31 \u0000b1 2.44	80.24 \u0000b1 1.72	73.26 \u0000b1 0.84
GSN	43.18 \u0000b1 5.65	34.67 \u0000b1 1.21	34.03 \u0000b1 1.69	32.60 \u0000b1 1.75	19.03 \u0000b1 2.39	82.54 \u0000b1 1.16	74.53 \u0000b1 1.90
Group DRO	41.51 \u0000b1 1.11	39.38 \u0000b1 0.93	39.32 \u0000b1 2.23	33.90 \u0000b1 0.52	15.13 \u0000b1 2.83	81.29 \u0000b1 1.44	75.44 \u0000b1 2.70
V-REx	42.83 \u0000b1 1.59	39.43 \u0000b1 2.69	39.08 \u0000b1 1.56	34.81 \u0000b1 2.04	18.92 \u0000b1 1.41	81.76 \u0000b1 0.08	75.62 \u0000b1 0.79
IRM	42.26 \u0000b1 2.69	41.30 \u0000b1 1.28	40.16 \u0000b1 1.74	35.12 \u0000b1 2.71	18.62 \u0000b1 1.22	81.01 \u0000b1 1.13	74.46 \u0000b1 2.74
DIR-Var	45.87 \u0000b1 2.61	43.81 \u0000b1 1.93	42.69 \u0000b1 1.77	37.12 \u0000b1 1.56	17.74 \u0000b1 4.17	81.74 \u0000b1 0.89	76.05 \u0000b1 0.86
DIR	47.03 \u0000b1 2.46	45.50 \u0000b1 2.15	43.36 \u0000b1 1.64	39.87 \u0000b1 0.56	20.36 \u0000b1 1.78	83.29 \u0000b1 0.53	77.05 \u0000b1 0.57

• DIR 在合成和真实数据集上的泛化方面总体上优于 ERM 和若干不变学习基线。
• 在消融实验中，方差正则化的 DIR（DIR）通过利用不变分布相较 DIR-Var（λ>0）有所提升。
• DIR 实现了更好的内在可解释性，在 Spurious-Motif 偏差增加时 Precision@5 更高。
• 两阶段训练动态显示一个适应阶段，在此阶段推理器学习显著特征，随后进入拟合阶段，稳定因果推理并细化预测器。
• 可视化显示 DIR 专注于与真实理由对齐的显著因果标记/边，并且在分布偏移下仍然具有信息性。