[论文解读] Evaluating Explainability for Graph Neural Networks

Chirag Agarwal, Owen Queen+2 more|arXiv (Cornell University)|Aug 19, 2022

Explainable Artificial Intelligence (XAI)被引用 10

一句话总结

本文提出了ShapeGGen，一种合成图数据生成器，可创建多样化的基准数据集，并为图神经网络（GNN）提供可靠、可编程定义的真实解释。通过在不同图结构和属性下实现对GNN可解释性方法的受控评估，ShapeGGen与配套的GraphXAI库共同构建了一个标准化框架，用于评估解释质量，解决了该领域缺乏可靠基准的问题。

ABSTRACT

As post hoc explanations are increasingly used to understand the behavior of graph neural networks (GNNs), it becomes crucial to evaluate the quality and reliability of GNN explanations. However, assessing the quality of GNN explanations is challenging as existing graph datasets have no or unreliable ground-truth explanations for a given task. Here, we introduce a synthetic graph data generator, ShapeGGen, which can generate a variety of benchmark datasets (e.g., varying graph sizes, degree distributions, homophilic vs. heterophilic graphs) accompanied by ground-truth explanations. Further, the flexibility to generate diverse synthetic datasets and corresponding ground-truth explanations allows us to mimic the data generated by various real-world applications. We include ShapeGGen and several real-world graph datasets into an open-source graph explainability library, GraphXAI. In addition to synthetic and real-world graph datasets with ground-truth explanations, GraphXAI provides data loaders, data processing functions, visualizers, GNN model implementations, and evaluation metrics to benchmark the performance of GNN explainability methods.

研究动机与目标

• 为评估GNN可解释性方法解决关键的缺乏可靠、可编程定义的真实解释的问题。
• 开发一种灵活的合成图生成器，能够生成具有可控属性（如大小、度分布和同质性）的多样化图数据集。
• 创建一个全面的基准测试库GraphXAI，集成合成与真实世界数据集、解释结果、模型实现和评估指标。
• 通过已知真实预测依据的数据，实现对GNN可解释性方法的系统性评估。
• 通过提供标准化数据、工具和评估协议，支持GNN可解释性研究的可重现性。

提出的方法

• ShapeGGen根据用户定义的参数（包括图大小、节点度分布和同质性/异质性水平）生成合成图。
• 通过将特定子结构（例如形状）与节点级预测标签关联，嵌入真实解释，确保解释与模型推理直接对应。
• 真实解释以节点或子图掩码的形式编码，明确指示图中哪些部分对预测具有因果影响。
• 该框架与GraphXAI集成，后者是一个统一的库，提供数据加载器、可视化工具、GNN模型实现和可解释性评估指标。
• GraphXAI支持合成和真实世界图数据集，支持跨数据集对可解释性方法进行评估。
• 评估使用标准可解释性指标（例如忠实度、精确率、召回率）对多种GNN可解释性方法生成的解释进行分析。

实验结果

研究问题

• RQ1 不同GNN可解释性方法在不同类型图结构（如同质性图与异质性图）中的表现如何？
• RQ2 现有可解释性方法在合成数据中多大程度上能准确恢复真实子结构？
• RQ3 图结构的复杂性（例如大小、度分布）如何影响解释的忠实度和可靠性？
• RQ4 所提出的基准能否可靠地区分高质量与低质量的可解释性方法？
• RQ5 可解释性方法在不同类型合成与真实世界图数据上的泛化能力如何？

主要发现

• ShapeGGen能够成功生成具有多种结构配置的多样化图数据集，并保持一致、可编程定义的真实解释。
• 通过GraphXAI的评估揭示了不同可解释性方法之间存在显著性能差异，部分方法即使在简单图中也未能恢复真实子结构。
• 与同质性图相比，异质性图中的解释忠实度和精确率始终较低，表明在这些设置下存在方法论挑战。
• 该基准表明，当前可解释性方法在复杂或稀疏图中往往无法识别正确的因果子结构。
• GraphXAI中同时包含合成与真实世界数据集，使得可解释性技术的评估更加稳健和具有泛化能力。
• 该框架支持对GNN可解释性方法进行可重现且系统化的比较，揭示了现有方法中的关键缺陷。