[论文解读] GNNInterpreter: A Probabilistic Generative Model-Level Explanation for Graph Neural Networks

Xiaoqi Wang, Han‐Wei Shen|arXiv (Cornell University)|Sep 15, 2022

Advanced Graph Neural Networks被引用 10

一句话总结

GNNInterpreter 提出了一种图神经网络（GNNs）的生成模型级概率解释方法，通过学习生成图分布来揭示 GNN 所依赖的最具判别性的结构与特征模式。通过优化一种新颖的目标函数，该方法在无需黑箱头部或领域特定规则的情况下，对多种 GNN 架构和异构图类型均能生成忠实、真实且灵活的解释，在多个数据集上优于现有方法，在忠实性与可解释性方面表现更优。

ABSTRACT

Recently, Graph Neural Networks (GNNs) have significantly advanced the performance of machine learning tasks on graphs. However, this technological breakthrough makes people wonder: how does a GNN make such decisions, and can we trust its prediction with high confidence? When it comes to some critical fields, such as biomedicine, where making wrong decisions can have severe consequences, it is crucial to interpret the inner working mechanisms of GNNs before applying them. In this paper, we propose a model-agnostic model-level explanation method for different GNNs that follow the message passing scheme, GNNInterpreter, to explain the high-level decision-making process of the GNN model. More specifically, GNNInterpreter learns a probabilistic generative graph distribution that produces the most discriminative graph pattern the GNN tries to detect when making a certain prediction by optimizing a novel objective function specifically designed for the model-level explanation for GNNs. Compared to existing works, GNNInterpreter is more flexible and computationally efficient in generating explanation graphs with different types of node and edge features, without introducing another blackbox or requiring manually specified domain-specific rules. In addition, the experimental studies conducted on four different datasets demonstrate that the explanation graphs generated by GNNInterpreter match the desired graph pattern if the model is ideal; otherwise, potential model pitfalls can be revealed by the explanation. The official implementation can be found at https://github.com/yolandalalala/GNNInterpreter.

研究动机与目标

• 为解决在生物医学等高风险领域中，GNN 缺乏忠实、可泛化且计算高效的模型级解释的问题。
• 克服解释 GNN 所面临的挑战，包括离散拓扑结构、领域特定的图有效性约束以及异构的节点/边特征。
• 开发一种无需依赖实例特定解释或额外黑箱组件的方法，以解释 GNN 的高层决策过程。
• 生成真实、具备领域感知的解释图，准确反映 GNN 实际学习到的判别性模式，即使模型存在偏差或缺陷亦能如此。
• 提供一种统一、灵活的框架，适用于遵循消息传递范式的各类 GNN，无论特征类型或架构如何。

提出的方法

• GNNInterpreter 构建了一个概率生成模型，学习表示 GNN 在给定预测中所使用最具判别性模式的图分布。
• 通过结合重建损失、嵌入相似性与正则化项的新型目标函数进行优化，以确保解释的忠实性与真实性。
• 采用蒙特卡洛采样（使用 Concrete 分布，温度 τ=0.2），并使用 SGD 配合 K=10 次采样以提升训练稳定性。
• 正则化项包括 L1/L2 权重衰减、预算惩罚（Rb）（带预热）以及连通性约束（Rc），并通过网格搜索为每个数据集调优。
• 该方法具有模型无关性，适用于不同 GNN 架构（GCN、GAT）和图类型（合成、真实世界）的异构特征。
• 通过为具有结构约束的数据集（如 MUTAG）赋予更高的嵌入相似性权重（μ），隐式捕捉领域规则。

实验结果

研究问题

• RQ1 是否存在一种模型级解释方法，能够忠实揭示 GNN 的高层决策模式，而无需依赖实例特定的解释？
• RQ2 生成模型如何生成真实且有效的解释图，以准确反映 GNN 实际学习到的判别性特征？
• RQ3 GNNInterpreter 在多大程度上能够检测模型缺陷，如偏差归因或对虚假模式的依赖？
• RQ4 与现有最先进模型级解释方法（如 XGNN）相比，GNNInterpreter 在忠实性与代表性方面表现如何？
• RQ5 GNNInterpreter 是否能在无需架构或领域特定修改的情况下，泛化至不同 GNN 架构和异构图类型（节点与边特征）？

主要发现

• 在 MUTAG 数据集中，GNNInterpreter 准确识别出致突变与非致突变类别的正确结构基序，F1 分数分别为 0.961 和 0.917。
• 在 Cyclicity 数据集中，模型取得高 F1 分数（0.995–0.993），GNNInterpreter 揭示了正确的环状模式，包括颜色在分类中的作用。
• 在 Motif 数据集中，GNNInterpreter 准确恢复出完整-5 基序为最具判别性的模式，该类别 F1 分数达到完美值 1.000。
• 在 Shape 数据集中，GNNInterpreter 正确识别出星形基序为关键判别性结构，与模型在 Star 类别上的完美预测（F1=1.000）一致。
• 在 ColorConsistency 数据集中，GNNInterpreter 生成的解释图忠实反映了节点与边特征一致性的作用，与模型的高 F1 分数（0.9963 和 0.9962）完全匹配。
• 在所有数据集中，当存在模型偏差或虚假模式时，GNNInterpreter 均能揭示这些现象，如对特定结构基序的过度依赖，展现出诊断模型缺陷的能力。