[论文解读] Explainability Techniques for Graph Convolutional Networks

Federico Baldassarre, Hossein Azizpour|arXiv (Cornell University)|May 31, 2019

Machine Learning in Materials Science参考文献 47被引用 59

一句话总结

本文分析 Graph Networks 的梯度基和分解基可解释性技术，在一个 infection 任务和一个 chemistry solubility 任务上进行比较，并提供一个用于 GN 解释的 PyTorch 实现。

ABSTRACT

Graph Networks are used to make decisions in potentially complex scenarios but it is usually not obvious how or why they made them. In this work, we study the explainability of Graph Network decisions using two main classes of techniques, gradient-based and decomposition-based, on a toy dataset and a chemistry task. Our study sets the ground for future development as well as application to real-world problems.

研究动机与目标

• 在化学、物理及相关领域，激发对可解释的 Graph Networks 的需求。
• 评估解释技术（梯度基和分解基）在图结构模型中的适用性。
• 对比不同方法的解释，并突出 GN 可解释性面临的挑战与未来方向。

提出的方法

• 采用 Graph Network (GN) 形式主义，使用 phi 表示边/节点的消息传递更新，rho 表示聚合，如 Battaglia et al. 2018。
• 将三种解释技术—Sensitivity Analysis (SA)、Guided Backpropagation (GBP) 和 Layer-wise Relevance Propagation (LRP)—应用于 GNs。
• 使用 ε-stabilized LRP 规则将输出分解为输入相关性，并针对回归任务进行适应。
• 在 PyTorch autograd 之上实现可解释性方法，以实现对灵活图输入的支持。
• 在两个任务上进行实验：一个 Infection toy 数据集，用于将解释与感染动力学进行比较；一个 Solubility 数据集，用于归因与溶解度相关的特征。
• 讨论汇聚、边的重要性和异构特征如何影响解释。

实验结果

研究问题

• RQ1 在解释 GN 预测时，梯度基解释方法与分解基方法有何对比？
• RQ2 在将 GN 可解释性应用于不规则图结构和异构特征时，存在哪些挑战与考虑？
• RQ3 汇聚选择和边连通性如何影响 Graph Networks 解释的质量与可解释性？
• RQ4 分解基解释（如 LRP）是否能为 GN 预测产生比基于变异的方法更直观的归因？

主要发现

• 基于变异的解释（SA、GBP）可能与人类对图中决策原因的直觉产生偏离。
• 分解基解释（LRP）往往为 GN 预测产生更自然、可解释的归因。
• LRP 能对化学图中的特定原子特征赋予正向和负向相关性，与已知的溶解度相关因素保持一致（例如，R-OH 基团会提高溶解度）。
• 在 GN 中通过多步聚合增强了边的作用，即使边特征无信息时也有助于揭示重要连接。
• 汇聚选择（求和/均值 vs 最大）显著影响解释，其中最大汇聚可能掩盖多个贡献输入；LRP 可以缓解一些局限。
• 作者提供了开源 PyTorch 实现来支持 GN 解释（github.com/baldassarreFe/graph-network-explainability）。