[论文解读] Global Explainability of GNNs via Logic Combination of Learned Concepts

Steve Azzolin, Antonio Longa+3 more|arXiv (Cornell University)|Oct 13, 2022

Topic Modeling被引用 11

一句话总结

该论文提出了GLGExplainer，这是首个通过结合局部解释中学习到的图形概念来生成人类可解释逻辑公式的图神经网络（GNNs）全局可解释性方法。采用全可微分架构，它将局部解释聚合为概念的布尔组合，从而在合成数据集和真实世界数据集上均实现了高保真度和对模型行为的忠实表示。

ABSTRACT

While instance-level explanation of GNN is a well-studied problem with plenty of approaches being developed, providing a global explanation for the behaviour of a GNN is much less explored, despite its potential in interpretability and debugging. Existing solutions either simply list local explanations for a given class, or generate a synthetic prototypical graph with maximal score for a given class, completely missing any combinatorial aspect that the GNN could have learned. In this work, we propose GLGExplainer (Global Logic-based GNN Explainer), the first Global Explainer capable of generating explanations as arbitrary Boolean combinations of learned graphical concepts. GLGExplainer is a fully differentiable architecture that takes local explanations as inputs and combines them into a logic formula over graphical concepts, represented as clusters of local explanations. Contrary to existing solutions, GLGExplainer provides accurate and human-interpretable global explanations that are perfectly aligned with ground-truth explanations (on synthetic data) or match existing domain knowledge (on real-world data). Extracted formulas are faithful to the model predictions, to the point of providing insights into some occasionally incorrect rules learned by the model, making GLGExplainer a promising diagnostic tool for learned GNNs.

研究动机与目标

• 解决GNNs缺乏能够捕捉模型整体决策行为、超越实例级解释的全局可解释性方法的问题。
• 克服现有全局方法的局限性，例如生成缺乏组合结构的合成原型，或需要领域知识。
• 通过从局部解释中提取的已学习图形概念推导出逻辑公式，实现忠实且人类可理解的全局解释。
• 提供一种诊断工具，用于揭示GNNs学习到的正确与错误规则，支持模型调试并增强在实际应用中的可信度。

提出的方法

• 使用现成的局部解释器，为每个预测提取实例级子图解释。
• 利用可微分聚类机制将局部解释聚类为图形概念，形成可解释的高层次单元。
• 训练一个端到端可微分模型（E-LEN），将节点特征和概念映射到类别预测，学习基于逻辑的决策规则。
• 应用离散化技巧以强制执行硬原型分配，稳定概念学习并提升公式保真度。
• 使用结合交叉熵、概念纯度和保真度目标的损失函数，对整个流程进行端到端优化。
• 将最终的逻辑公式提取为已学习概念的布尔组合，确保与模型预测和数据领域语义的一致性。

实验结果

研究问题

• RQ1 能否通过从局部解释中提取的已学习图形概念，有效将GNNs的全局解释表达为逻辑公式？
• RQ2 全可微分架构在多大程度上能够将局部解释组合为连贯的高层次逻辑规则，以忠实反映GNN的行为？
• RQ3 在合成数据和真实世界数据上，所提出的方法是否在保真度和可解释性方面优于现有全局解释器（如XGNN和GLocalX）？
• RQ4 GLGExplainer在多大程度上能够揭示GNNs学习到的错误或虚假规则，从而发挥诊断工具的作用？
• RQ5 离散化技巧对概念学习的质量和稳定性以及公式保真度有何影响？

主要发现

• GLGExplainer在使用逻辑公式总结GNN行为方面实现了高保真度（在BAMultiShapes上高达0.95，在HIN上为0.89，在Mutagenicity上为0.84）。
• 在最优原型数量下（BAMultiShapes为6个，Mutagenicity为2个，HIN为4个），该方法在保真度与概念纯度之间达到平衡，Mutagenicity上的概念纯度达到0.99。
• 离散化技巧将概念向量熵降低至零，并使保真度相比非离散化变体提升两倍以上，显著提高了公式的忠实度。
• GLGExplainer成功识别出模型学习到的正确规则以及偶尔的错误规则，展示了其诊断能力。
• 该方法在性能上优于XGNN，后者在所有评估任务中均未能生成有意义的全局解释。
• 保真度与公式准确率强相关，表明所提取的逻辑公式是模型预测的可靠代理。