[论文解读] DyExplainer: Explainable Dynamic Graph Neural Networks

Tianchun Wang, Dongsheng Luo+3 more|arXiv (Cornell University)|Oct 25, 2023

Advanced Graph Neural Networks被引用 4

一句话总结

DyExplainer 提出了一种新颖的、实时的动态图神经网络（GNN）解释框架，通过整合稀疏结构注意力与时间注意力机制、对比学习以及基于缓冲区的实时更新机制，实现了在动态图快照演化过程中忠实、一致且准确的模型解释。该方法显著提升了链接预测性能，同时为动态GNN的行为提供了透明且可泛化的洞察。

ABSTRACT

Graph Neural Networks (GNNs) resurge as a trending research subject owing to their impressive ability to capture representations from graph-structured data. However, the black-box nature of GNNs presents a significant challenge in terms of comprehending and trusting these models, thereby limiting their practical applications in mission-critical scenarios. Although there has been substantial progress in the field of explaining GNNs in recent years, the majority of these studies are centered on static graphs, leaving the explanation of dynamic GNNs largely unexplored. Dynamic GNNs, with their ever-evolving graph structures, pose a unique challenge and require additional efforts to effectively capture temporal dependencies and structural relationships. To address this challenge, we present DyExplainer, a novel approach to explaining dynamic GNNs on the fly. DyExplainer trains a dynamic GNN backbone to extract representations of the graph at each snapshot, while simultaneously exploring structural relationships and temporal dependencies through a sparse attention technique. To preserve the desired properties of the explanation, such as structural consistency and temporal continuity, we augment our approach with contrastive learning techniques to provide priori-guided regularization. To model longer-term temporal dependencies, we develop a buffer-based live-updating scheme for training. The results of our extensive experiments on various datasets demonstrate the superiority of DyExplainer, not only providing faithful explainability of the model predictions but also significantly improving the model prediction accuracy, as evidenced in the link prediction task.

研究动机与目标

• 解决日益应用于现实世界时变场景的动态GNN中可解释性不足的问题。
• 提供可泛化于不同动态GNN架构的模型级解释，而非仅针对特定实例的解释。
• 确保在图结构和节点特征演化的背景下，解释保持结构一致性与时间连续性。
• 通过对比学习引导的正则化方法，提升模型预测准确率。
• 开发一种高效、实时生成的解释机制，计算开销极低，适用于大规模动态图。

提出的方法

• DyExplainer 使用动态GNN主干网络在每个时间快照中提取节点表征，捕捉图结构与节点属性的动态演化。
• 提出一种双注意力机制：结构注意力用于识别每个快照内关键的节点关系，时间注意力用于建模连续快照间长期依赖关系。
• 采用稀疏注意力机制聚焦于显著的结构模式，减少噪声并提升解释的保真度。
• 应用对比学习通过保留结构一致性和时间连续性来正则化解释，利用从节点表征中衍生的正样本和负样本图视图。
• 基于缓冲区的实时更新机制维护历史快照，以建模长期时间动态，从而有效学习图结构的演化模式。
• 解释模块插入在GNN主干网络之后，计算开销极低，适用于大规模动态图。

实验结果

研究问题

• RQ1 如何为动态GNN提供忠实、实时的解释，同时兼顾结构关系与时间演化？
• RQ2 哪些技术可确保在图结构演化过程中，解释保持结构一致性和时间连续性？
• RQ3 对比学习能否有效用于正则化解释，从而同时提升动态GNN的可解释性与模型性能？
• RQ4 通过基于缓冲区的机制引入长期时间依赖关系，对解释的准确性和忠实度有何影响？
• RQ5 通用的、与模型无关的解释器在多种动态GNN架构中可应用的程度如何？

主要发现

• DyExplainer 在动态图基准数据集上显著提升了链接预测准确率，表明可解释性感知的训练能增强模型性能。
• 通过对比学习正则化，方法成功保持了结构与时间属性，实现了忠实且一致的解释。
• 稀疏注意力机制有效识别出每个快照中对预测至关重要的子图结构与节点关系。
• 基于缓冲区的实时更新机制使模型能够捕捉长期时间依赖关系，优于仅依赖最近快照的方法。
• 解释模块的集成带来的计算开销极低，使其在大规模动态图上具备可扩展性。
• DyExplainer 提供了可泛化的、模型级的解释，不限于单个预测，实现了对动态GNN更广泛的可解释性。