[论文解读] Deconfounding to Explanation Evaluation in Graph Neural Networks

Yingxin Wu, Xiang Wang+5 more|arXiv (Cornell University)|Jan 21, 2022

Advanced Graph Neural Networks被引用 7

一句话总结

本文提出去混淆子图评估（DSE），一种基于因果推断的框架，通过使用代理子图生成器进行前门调整，缓解图神经网络（GNN）解释评估中的分布外（OOD）问题。通过训练条件变分图自编码器（CVGAE）生成分布内代理子图，DSE 实现了子图重要性的无偏估计，在标准移除基评估方法上显著提升了解释保真度。

ABSTRACT

Explainability of graph neural networks (GNNs) aims to answer "Why the GNN made a certain prediction?", which is crucial to interpret the model prediction. The feature attribution framework distributes a GNN's prediction to its input features (e.g., edges), identifying an influential subgraph as the explanation. When evaluating the explanation (i.e., subgraph importance), a standard way is to audit the model prediction based on the subgraph solely. However, we argue that a distribution shift exists between the full graph and the subgraph, causing the out-of-distribution problem. Furthermore, with an in-depth causal analysis, we find the OOD effect acts as the confounder, which brings spurious associations between the subgraph importance and model prediction, making the evaluation less reliable. In this work, we propose Deconfounded Subgraph Evaluation (DSE) which assesses the causal effect of an explanatory subgraph on the model prediction. While the distribution shift is generally intractable, we employ the front-door adjustment and introduce a surrogate variable of the subgraphs. Specifically, we devise a generative model to generate the plausible surrogates that conform to the data distribution, thus approaching the unbiased estimation of subgraph importance. Empirical results demonstrate the effectiveness of DSE in terms of explanation fidelity.

研究动机与目标

• 解决因完整图与子图之间分布偏移导致的 GNN 解释评估可靠性问题。
• 识别分布外（OOD）效应作为混杂因子，造成子图重要性与模型预测之间的虚假相关性。
• 开发一种去混淆评估框架，以估计解释性子图对 GNN 预测的真实因果效应。
• 生成保持数据分布特性的分布内代理子图，以实现无偏的因果估计。
• 通过以因果上合理的评估范式替代标准特征移除方法，提升解释保真度。

提出的方法

• 提出结构因果模型（SCM），形式化完整图与子图之间分布偏移（D）的混杂效应。
• 应用前门调整，通过代理变量 $G^*_s$ 估计子图 $G_s$ 对预测 $Y$ 的因果效应。
• 设计条件变分图自编码器（CVGAE），基于 $G_s$ 生成合理且分布内的代理子图 $G^*_s$。
• 使用对比损失和对抗训练训练 CVGAE，确保生成的代理子图符合原始数据分布。
• 将因果效应估计为 $P(G^*_s | G_s)$ 与 $P(Y | G^*_s)$ 的乘积，实现子图重要性的无偏评估。
• 将基于代理的因果效应作为解释保真度的评估指标，替代基于移除的预测相关性。

实验结果

研究问题

• RQ1 从完整图到子图的分布偏移是否引入混杂偏差，从而扭曲 GNN 中子图重要性的评估？
• RQ2 前门调整能否有效应用于图数据，以去混淆子图对模型预测的因果效应？
• RQ3 深度生成模型能否生成忠实反映原始数据分布的分布内代理子图？
• RQ4 与标准移除基评估相比，所提出的 DSE 框架是否能提升解释保真度？
• RQ5 在真实世界 GNN 解释中，DSE 对 OOD 子图引发的虚假相关性是否具有鲁棒性？

主要发现

• 特征移除引起的 OOD 效应导致混杂路径 $G_s \leftarrow D \rightarrow Y$，引发虚假相关性，从而损害解释评估的可靠性。
• 实验结果表明，与标准移除基评估相比，DSE 通过减少 OOD 子图带来的偏差，显著提升了解释保真度。
• CVGAE 生成器成功生成符合数据分布的代理子图，为有效的前门调整提供了基础。
• DSE 实现了对解释性子图更可靠、更忠实的评估，尤其在移除基方法赋予反直觉重要性评分的情况下表现更优。
• 该框架在合成数据集和真实世界数据集（包括 TR3）上均表现出鲁棒性，即使存在 OOD 伪影，也能正确识别真实解释。
• 消融研究证实，代理生成与前门调整两个组件对于去混淆和提升保真度均至关重要。