[论文解读] Encoding Concepts in Graph Neural Networks

Lucie Charlotte Magister, Pietro Barbiero+6 more|arXiv (Cornell University)|Jul 27, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

本文提出了概念编码器模块（CEM），这是一种可微分的端到端框架，通过在图神经网络（GNN）的潜在空间中进行聚类来发现人类可理解的概念，并利用这些概念引导预测，从而从设计上使GNN具备可解释性。该方法在概念质量、模型准确率以及支持人类干预方面均达到最先进水平，显著提升了信任度与可解释性，同时不牺牲预测能力。

ABSTRACT

The opaque reasoning of Graph Neural Networks induces a lack of human trust. Existing graph network explainers attempt to address this issue by providing post-hoc explanations, however, they fail to make the model itself more interpretable. To fill this gap, we introduce the Concept Encoder Module, the first differentiable concept-discovery approach for graph networks. The proposed approach makes graph networks explainable by design by first discovering graph concepts and then using these to solve the task. Our results demonstrate that this approach allows graph networks to: (i) attain model accuracy comparable with their equivalent vanilla versions, (ii) discover meaningful concepts that achieve high concept completeness and purity scores, (iii) provide high-quality concept-based logic explanations for their prediction, and (iv) support effective interventions at test time: these can increase human trust as well as significantly improve model performance.

研究动机与目标

• 解决由于图神经网络（GNN）推理过程不透明而导致的人类信任缺失问题。
• 克服事后可解释性方法无法使模型本身具备可解释性的局限性。
• 开发一种可微分、端到端的框架，在训练过程中发现有意义且人类可理解的图概念。
• 实现有效的概念层面人类干预，以纠正偏差并提升模型性能。
• 在实现高质量、基于逻辑的概念解释的同时，保持或提升模型准确率。

提出的方法

• 概念编码器模块（CEM）在GNN架构中集成可微分聚类机制，直接在训练过程中发现概念。
• 对预训练GNN的节点嵌入执行k-Means聚类，以在潜在空间中识别概念原型。
• 根据节点与聚类中心的距离，为每个节点分配概念标签，形成概念感知表示。
• 将这些发现的概念用作可微分、可解释分类器（如基于逻辑或符号的头）的输入，以进行最终预测。
• 整个流程实现端到端可微分，允许梯度通过聚类和分类组件反向传播。
• 该方法动态确定最优概念数量，避免手动调整聚类数量的超参数。

实验结果

研究问题

• RQ1 一种可微分、端到端的方法能否在GNN的潜在空间中发现高质量、人类可理解的概念？
• RQ2 将发现的概念整合到预测头中，是否能保持或提升相比原始GNN的模型准确率？
• RQ3 该模型能否生成高纯度、高完整性、语义上合理且在样本间一致的概念？
• RQ4 在概念层面的人类干预在多大程度上能提升模型性能与信任度？
• RQ5 该模型能否基于发现的概念提供准确、基于逻辑的解释？

主要发现

• 所提出的概念图网络（CGNs）在基准数据集上的模型准确率与原始GNN相当。
• 发现的概念表现出高纯度和高完整性得分，表明其具有强语义一致性和高质量表征能力。
• 该模型基于发现的概念生成高质量、可解释的逻辑解释，显著增强了人类理解能力。
• 在概念层面的人类干预（如修改概念权重）能显著提升模型性能并减少偏差。
• 该方法无需手动调整聚类数量超参数，即可动态确定概念数量。
• 该方法通过从整个数据分布中学习概念，支持可扩展的全局解释，优于局部、实例特定的解释器。