[论文解读] DAG Matters! GFlowNets Enhanced Explainer For Graph Neural Networks

Wenqian Li, Yinchuan Li+3 more|arXiv (Cornell University)|Mar 4, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出 GFlowExplainer，一种基于 GFlowNet 的方法，将 GNN 解释重新表述为序列子图生成问题，实现了对 GNN 预测的高效、可扩展且忠实的解释。通过利用 DAG 结构和一种新型的割点矩阵，该方法在合成数据集和真实世界数据集上均提升了样本效率和性能，相较于最先进方法，实现了更高的保真度和稀疏性。

ABSTRACT

Uncovering rationales behind predictions of graph neural networks (GNNs) has received increasing attention over the years. Existing literature mainly focus on selecting a subgraph, through combinatorial optimization, to provide faithful explanations. However, the exponential size of candidate subgraphs limits the applicability of state-of-the-art methods to large-scale GNNs. We enhance on this through a different approach: by proposing a generative structure -- GFlowNets-based GNN Explainer (GFlowExplainer), we turn the optimization problem into a step-by-step generative problem. Our GFlowExplainer aims to learn a policy that generates a distribution of subgraphs for which the probability of a subgraph is proportional to its' reward. The proposed approach eliminates the influence of node sequence and thus does not need any pre-training strategies. We also propose a new cut vertex matrix to efficiently explore parent states for GFlowNets structure, thus making our approach applicable in a large-scale setting. We conduct extensive experiments on both synthetic and real datasets, and both qualitative and quantitative results show the superiority of our GFlowExplainer.

研究动机与目标

• 解决现有基于组合优化的 GNN 解释方法在效率和可扩展性方面的局限性。
• 克服基于树搜索和强化学习方法中次优采样和序列依赖的问题。
• 在无需预训练的情况下，实现高效、忠实且人类可解释的子图生成，用于 GNN 预测。
• 设计一种在图连通性约束下高效探索父状态的机制，用于 GFlowNets。
• 在保真度、稀疏性和准确性方面，相较于最先进基线方法，展示出卓越的性能。

提出的方法

• 将 GNN 解释重新表述为使用 GFlowNets 的生成过程，其中子图的概率与其奖励（例如，与预测的互信息）成正比。
• 在 GFlowNets 中使用 DAG 结构，通过不同节点序列生成相同子图的轨迹进行统一，提升样本效率。
• 引入割点矩阵，以高效识别子图生成过程中的有效父状态，降低动态图中搜索的复杂度。
• 采用流匹配目标，指导策略网络学习生成高奖励子图且方差最小的策略。
• 利用节点排序和边添加动态过程，逐步构建连通子图，与 GNN 中的消息传递机制保持一致。
• 直接将生成的子图用作掩码，并根据生成顺序分配重要性权重。

实验结果

研究问题

• RQ1 像 GFlowNets 这样的生成框架是否能在 GNN 解释中超越组合优化和强化学习方法？
• RQ2 如何通过整合生成相同子图但序列不同的轨迹，来提升子图生成中的样本效率？
• RQ3 基于割点的准则是否能实现在大规模 GNN 解释中可扩展且高效的父状态搜索？
• RQ4 所提出方法是否在保真度和稀疏性方面优于现有最先进方法？
• RQ5 与离散边基方法相比，基于 GFlowNets 的方法是否能生成更具直观性、连通性更好且更符合人类直觉的子图？

主要发现

• 在 BA-Shape 数据集上，GFlowExplainer 达到 0.99 的准确率，与 SubgraphX 相当，并优于 DEGREE（0.94）。
• 在 BA-Community 数据集上，GFlowExplainer 达到 0.94 的准确率，与 SubgraphX（0.93）相当，优于 DEGREE（0.95）。
• 该方法在保真度和稀疏性方面表现卓越，定量结果表明解释与模型预测高度一致。
• 在 Graph-SST2 和 MUTAG 上的定性结果表明，GFlowExplainer 生成的子图连通且语义有意义，与人类直觉相符。
• 割点矩阵降低了计算开销并加速了训练，使该方法在大规模场景中能高效应用。
• GFlowExplainer 避免了预训练的需求，并通过流匹配和轨迹整合，消除了蒙特卡洛树搜索的高方差问题。