[论文解读] GNN Explainer: A Tool for Post-hoc Explanation of Graph Neural Networks

Rex Ying, Dylan Bourgeois+3 more|arXiv (Cornell University)|Mar 10, 2019

Explainable Artificial Intelligence (XAI)参考文献 49被引用 69

一句话总结

GNN Explainer 是一种模型无关的方法，通过优化过程最大化完整模型与简化解释器模型之间的互信息，识别图神经网络预测中最具影响力的子图结构和节点特征。该方法可为节点分类、图分类以及链接预测提供局部、实例特定的解释，并在合成图和真实世界图上有效突出相关拓扑结构。

ABSTRACT

Graph Neural Networks (GNNs) are a powerful tool for machine learning on graphs. GNNs combine node feature information with the graph structure by using neural networks to pass messages through edges in the graph. However, incorporating both graph structure and feature information leads to complex non-linear models and explaining predictions made by GNNs remains to be a challenging task. Here we propose GnnExplainer, a general model-agnostic approach for providing interpretable explanations for predictions of any GNN-based model on any graph-based machine learning task (node and graph classification, link prediction). In order to explain a given node's predicted label, GnnExplainer provides a local interpretation by highlighting relevant features as well as an important subgraph structure by identifying the edges that are most relevant to the prediction. Additionally, the model provides single-instance explanations when given a single prediction as well as multi-instance explanations that aim to explain predictions for an entire class of instances/nodes. We formalize GnnExplainer as an optimization task that maximizes the mutual information between the prediction of the full model and the prediction of simplified explainer model. We experiment on synthetic as well as real-world data. On synthetic data we demonstrate that our approach is able to highlight relevant topological structures from noisy graphs. We also demonstrate GnnExplainer to provide a better understanding of pre-trained models on real-world tasks. GnnExplainer provides a variety of benefits, from the identification of semantically relevant structures to explain predictions to providing guidance when debugging faulty graph neural network models.

研究动机与目标

• 解决图神经网络在结合节点特征与图结构时产生的复杂非线性预测的可解释性挑战。
• 开发一种通用的、模型无关的解释方法，适用于节点分类、图分类和链接预测等多种图任务。
• 支持单实例和多实例解释，突出语义上有意义的子图结构和相关特征。
• 为调试有缺陷的 GNN 模型和提升模型透明度提供可操作的洞察。

提出的方法

• 将 GNN Explainer 形式化为一个优化问题，通过最大化完整 GNN 模型预测与简化可解释解释器模型预测之间的互信息。
• 将解释器模型定义为针对给定输入节点或图，与原始模型预测局部一致的子图和特征子集。
• 使用子图选择过程的可微分松弛，以支持通过梯度下降进行端到端优化。
• 优化稀疏子图和特征子集，在保持预测性能的同时最小化复杂度。
• 将该方法应用于节点级和图级预测，支持单实例和类别级解释。
• 利用互信息目标函数，确保解释结果忠实于原始模型的行为。

实验结果

研究问题

• RQ1 GNN Explainer 是否能有效识别对 GNN 预测具有贡献的关键子图结构和特征？
• RQ2 在含噪声的合成图上，GNN Explainer 在隔离有意义的拓扑模式方面表现如何？
• RQ3 GNN Explainer 在多大程度上能提升对真实世界图数据集上预训练 GNN 模型的理解？
• RQ4 GNN Explainer 是否能为调试和改进有缺陷的 GNN 架构提供有用见解？

主要发现

• 在含噪声的合成图上，GNN Explainer 能够成功识别出潜在的相关拓扑结构，表现出对无关边和特征的鲁棒性。
• 该方法提供了忠实且语义上有意义的解释，与合成数据中的真实因果结构一致。
• 在真实世界数据集上，GNN Explainer 揭示了与预测任务中已知或预期特征相关的可解释子图模式。
• 该方法通过突出有缺陷 GNN 模型中的问题或虚假子结构，实现了有效的调试。
• 多实例解释有助于识别一类节点中的共同结构基序，为模型泛化模式提供洞察。
• 互信息优化目标函数可生成稳定且忠实的解释，对输入结构和特征的变化具有敏感性。