[论文解读] RelEx: A Model-Agnostic Relational Model Explainer

Yue Zhang, David DeFazio+1 more|arXiv (Cornell University)|May 30, 2020

Explainable Artificial Intelligence (XAI)参考文献 16被引用 7

一句话总结

RelEx 是一种模型无关的关联解释器，通过仅使用模型预测结果（而非梯度）来为黑箱关联模型（如 GNN 和 SRL 模型）生成局部、可解释的解释。它通过局部可微分近似构建解释，并在关联结构上学习可解释的掩码，其性能与 GNN-Explainer 相当或更优，同时无需模型可微分性即可支持多样化、领域相关的解释。

ABSTRACT

In recent years, considerable progress has been made on improving the interpretability of machine learning models. This is essential, as complex deep learning models with millions of parameters produce state of the art results, but it can be nearly impossible to explain their predictions. While various explainability techniques have achieved impressive results, nearly all of them assume each data instance to be independent and identically distributed (iid). This excludes relational models, such as Statistical Relational Learning (SRL), and the recently popular Graph Neural Networks (GNNs), resulting in few options to explain them. While there does exist one work on explaining GNNs, GNN-Explainer, they assume access to the gradients of the model to learn explanations, which is restrictive in terms of its applicability across non-differentiable relational models and practicality. In this work, we develop RelEx, a model-agnostic relational explainer to explain black-box relational models with only access to the outputs of the black-box. RelEx is able to explain any relational model, including SRL models and GNNs. We compare RelEx to the state-of-the-art relational explainer, GNN-Explainer, and relational extensions of iid explanation models and show that RelEx achieves comparable or better performance, while remaining model-agnostic.

研究动机与目标

• 为 GNN 和 SRL 等关联模型缺乏模型无关解释器的问题提供解决方案，这些模型通常不可微分，且不适用于基于梯度的方法。
• 仅通过访问输入-输出行为，实现对任意黑箱关联模型的解释，无需内部梯度或模型架构信息。
• 为每个实例提供多种多样化的解释，从领域视角提升可解释性。
• 在合成图数据集和真实世界图数据集上评估 RelEx，证明其在定量和定性方面均优于现有方法。

提出的方法

• RelEx 通过扰动输入样本，在目标节点周围构建黑箱关联模型的局部可微分近似。
• 通过优化对黑箱预测的保真度，学习在关联结构（边和特征）上的可解释掩码。
• 采用 Sigmoid 或 Gumbel-Softmax 松弛方法，实现在不依赖黑箱模型梯度的前提下进行可微分采样与掩码学习。
• 为促进解释多样性，最大化同一实例上两个独立学习解释之间的交叉熵。
• 通过在扰动样本上训练的代理模型，识别对预测贡献最大的子图（邻域）来生成解释。
• 该方法已应用于 GNN 和 HL-MRF，证明其在关联学习模型中的广泛适用性。

实验结果

研究问题

• RQ1 在不访问模型梯度的前提下，模型无关的关联解释器能否实现与基于梯度的方法（如 GNN-Explainer）相当的性能？
• RQ2 RelEx 能否为同一预测生成多样化且有意义的解释，以反映底层关联结构的不同方面？
• RQ3 RelEx 在解释合成与真实世界图结构数据方面，是否优于或至少匹配当前最先进解释器？
• RQ4 在节点分类任务中，RelEx 能否有效识别出正确的‘正确原因’（真实关联结构）？

主要发现

• 在 MUTAG 数据集上，RelEx 的不保真度得分与 GNN-Explainer 及其他基线方法相比达到相当或更优水平，其中 RelEx_Gumbel 得分为 0.05573，GNN-Explainer 为 0.05557。
• 在合成数据集（树、网格、BA）上，RelEx 准确捕捉了核心拓扑结构，如六元环和 -NO₂ 基团，其表现与真实关联模式匹配或超越。
• RelEx 的多样化解释能力使其能为同一节点生成多个有效解释，例如一个解释同时捕捉了五元环与六元环，而另一个解释则排除了噪声边。
• 定性结果表明，RelEx_Gumbel 正确识别出碳原子中的六元环结构和氮原子中的 -NO₂ 结构，与领域知识一致。
• RelEx 在不同模型类型上表现出鲁棒性，成功解释了 GNN 和 HL-MRF，充分证明其模型无关特性。