[论文解读] Interpreting and Understanding Graph Convolutional Neural Network using Gradient-based Attribution Method

Shangsheng Xie, Mingming Lu|arXiv (Cornell University)|Mar 9, 2019

Advanced Graph Neural Networks被引用 7

一句话总结

本文提出了一种基于梯度的归因方法——节点归因方法（NAM），通过量化中心节点及其邻居对模型预测的贡献，来解释图卷积网络（GCNs）。与以往仅关注中心节点特征的方法不同，NAM捕捉了节点特征与图结构的联合影响，通过节点重要性可视化（NIV）实现更全面的模型可解释性。

ABSTRACT

To solve the problem that convolutional neural networks (CNNs) are difficult to process non-grid type relational data like graphs, Kipf et al. proposed a graph convolutional neural network (GCN). The core idea of the GCN is to perform two-fold informational fusion for each node in a given graph during each iteration: the fusion of graph structure information and the fusion of node feature dimensions. Because of the characteristic of the combinatorial generalizations, GCN has been widely used in the fields of scene semantic relationship analysis, natural language processing and few-shot learning etc. However, due to its two-fold informational fusion involves mathematical irreversible calculations, it is hard to explain the decision reason for the prediction of the each node classification. Unfortunately, most of the existing attribution analysis methods concentrate on the models like CNNs, which are utilized to process grid-like data. It is difficult to apply those analysis methods to the GCN directly. It is because compared with the independence among CNNs input data, there is correlation between the GCN input data. This resulting in the existing attribution analysis methods can only obtain the partial model contribution from the central node features to the final decision of the GCN, but ignores the other model contribution from central node features and its neighbor nodes features to that decision. To this end, we propose a gradient attribution analysis method for the GCN called Node Attribution Method (NAM), which can get the model contribution from not only the central node but also its neighbor nodes to the GCN output. We also propose the Node Importance Visualization (NIV) method to visualize the central node and its neighbor nodes based on the value of the contribution...

研究动机与目标

• 解决由于两阶段信息融合过程中不可逆数学运算导致的GCN可解释性不足问题。
• 克服现有归因方法在GCN中未能考虑中心节点与其邻居之间特征相关性的局限性。
• 开发一种方法，全面捕捉中心节点和邻居节点特征对GCN预测的联合贡献。
• 通过一种新颖的可视化技术——节点重要性可视化（NIV），实现模型决策的可视化解释。

提出的方法

• 提出节点归因方法（NAM），一种专为GCNs设计的基于梯度的归因技术，用于计算输入特征对输出预测的贡献。
• 计算输出预测相对于输入节点特征的梯度，捕捉中心节点和邻居节点的双重影响。
• 不仅将基于梯度的归因应用于中心节点，还扩展到其邻居，以考虑图中的结构依赖关系。
• 引入节点重要性可视化（NIV），以图形化方式表示中心节点及其邻居的归因分数。
• 利用损失函数相对于节点特征的梯度，量化每个节点对最终预测贡献的重要性。
• 将标准归因技术扩展至处理GCNs中特有的相关输入结构，该结构与CNN的独立输入不同。

实验结果

研究问题

• RQ1 在图数据存在结构依赖关系的前提下，如何准确地将GCN的模型预测归因于中心节点及其邻居？
• RQ2 现有基于梯度的归因方法在应用于具有相关节点特征的GCN时存在哪些局限性？
• RQ3 是否可以通过统一的归因方法更有效地捕捉节点及其邻居对GCN预测的联合贡献，而非仅关注中心节点？
• RQ4 如何可视化表示GCN决策过程中节点及其邻居的相对重要性？
• RQ5 与传统归因技术相比，所提出的方法在提升可解释性方面达到何种程度？

主要发现

• 所提出的节点归因方法（NAM）成功捕捉了中心节点及其邻居对GCN预测的贡献，克服了仅考虑中心节点特征的方法的局限性。
• 通过考虑节点特征与图结构之间的相互依赖关系，NAM为GCN决策提供了更全面的理解。
• 节点重要性可视化（NIV）有效突出了关键节点及其邻居，为模型行为提供了直观洞察。
• 该方法通过引入邻域影响，相较于标准梯度归因方法，显著提升了可解释性。
• 该方法在节点分类等任务中实现了对GCN预测的更好分析，其中结构上下文至关重要。
• 实验结果表明，NAM揭示了与图中预期结构关系一致的有意义的特征重要性模式。