[论文解读] GNNX-BENCH: Unravelling the Utility of Perturbation-based GNN Explainers through In-depth Benchmarking

Mert Kosan, Samidha Verma+5 more|arXiv (Cornell University)|Oct 3, 2023

Ferroelectric and Negative Capacitance DevicesEngineering被引用 3

一句话总结

本文提出了 GNNX-BENCH，一个针对基于扰动的 GNN 解释器的综合性基准，评估了在多个数据集和扰动类型下事实性与反事实性方法的表现。研究发现 RCExplainer 在噪声环境下最为稳定且高效，同时揭示了由于拓扑约束违反导致的反事实可行性关键局限性。

ABSTRACT

Numerous explainability methods have been proposed to shed light on the inner workings of GNNs. Despite the inclusion of empirical evaluations in all the proposed algorithms, the interrogative aspects of these evaluations lack diversity. As a result, various facets of explainability pertaining to GNNs, such as a comparative analysis of counterfactual reasoners, their stability to variational factors such as different GNN architectures, noise, stochasticity in non-convex loss surfaces, feasibility amidst domain constraints, and so forth, have yet to be formally investigated. Motivated by this need, we present a benchmarking study on perturbation-based explainability methods for GNNs, aiming to systematically evaluate and compare a wide range of explainability techniques. Among the key findings of our study, we identify the Pareto-optimal methods that exhibit superior efficacy and stability in the presence of noise. Nonetheless, our study reveals that all algorithms are affected by stability issues when faced with noisy data. Furthermore, we have established that the current generation of counterfactual explainers often fails to provide feasible recourses due to violations of topological constraints encoded by domain-specific considerations. Overall, this benchmarking study empowers stakeholders in the field of GNNs with a comprehensive understanding of the state-of-the-art explainability methods, potential research problems for further enhancement, and the implications of their application in real-world scenarios.

研究动机与目标

• 系统评估并比较在多样化设置下基于扰动的事实性与反事实性 GNN 解释器。
• 识别在噪声、架构变化和优化随机性下当前可解释性方法存在的稳定性与可行性问题。
• 解决反事实解释器缺乏基准测试的问题，这些解释器在高风险领域中对于提供可操作洞察至关重要。
• 基于在不同任务和数据集上的实证表现与鲁棒性，为实践者提供可操作的建议。

提出的方法

• 本研究在六个标准 GNN 基准数据集上对七种事实性与四种反事实性基于扰动的解释器进行了基准测试，包括 ogbg-molhiv 和 IMDB-B。
• 采用标准指标（如充分性与保真度）评估方法，衡量解释是否能准确再现模型的预测结果。
• 通过引入受控的拓扑噪声（如边删除）并改变 GNN 架构与训练随机性，测试方法的鲁棒性。
• 通过检查解释是否遵守特定领域的拓扑约束（如分子图中的化学价态）来评估其可行性。
• 发布了一个精心整理的、公开可用的代码库，以确保可复现性并促进未来基准测试。
• 研究包含一个决策流程图，帮助实践者根据任务类型、数据规模和应用背景选择合适的解释器。

Figure 1: Structuring the space of the existing methods on Gnn explainability as follows. Gradient: SA [ 7 ] , Guided-BP [ 7 ] , Grad-CAM [ 34 ] ; Decomposition: Excitation-BP [ 34 ] , GNN-LRP [ 39 ] , CAM [ 34 ] ; Perturbation: GNNExplainer [ 58 ] , PGExplainer [ 30 ] , SubgraphX [ 62 ] , GEM [ 27

实验结果

研究问题

• RQ1 在噪声条件下，基于扰动的事实性与反事实性 GNN 解释器在多样化 GNN 架构和数据集上的表现如何？
• RQ2 反事实解释器在多大程度上能生成符合特定领域结构约束的可行补救措施？
• RQ3 哪些解释器在不同优化随机性与超参数设置下表现出更优的稳定性和一致性？
• RQ4 在保真度、充分性以及对输入扰动的鲁棒性方面，事实性与反事实性解释器如何比较？
• RQ5 归纳式与归纳式解释器在可扩展性与性能方面存在哪些关键权衡？

主要发现

• RCExplainer 在所有数据集上均实现了最高的平均充分性，包括在 Mutagenicity 上达到 0.96 ±0.00，在 IMDB-B 上达到 0.98 ±0.00，并在噪声条件下表现出卓越的稳定性。
• 所有解释器（包括 RCExplainer）在拓扑噪声下性能均下降，表明其对输入扰动具有固有的敏感性。
• 反事实解释器（如 CF-GNNExplainer 和 CLEAR）频繁生成不可行的补救措施，原因在于违反了拓扑约束（如生成了无效的分子结构）。
• CF 2 在 AIDS 数据集上表现优异（0.99 ±0.01），但在 Proteins 数据集上失败（NA），凸显了其任务特定的局限性。
• TAGExplainer (2) 相较于 TAGExplainer (1) 并未显著提升性能，表明其两阶段优化过程的收益有限。
• 研究发现，没有一种解释器在所有指标上始终优于其他方法，但 RCExplainer 在图分类任务中展现出最强的鲁棒性与可靠性。

Figure 2: Sufficiency of the factual explainers against the explanation size. For factual explanations, higher is better. We omit those methods for a dataset that threw an out-of-memory (OOM) error.