[论文解读] On the Robustness of Graph Neural Diffusion to Topology Perturbations

Yang Song, Qiyu Kang+3 more|arXiv (Cornell University)|Sep 16, 2022

Model Reduction and Neural Networks被引用 13

一句话总结

本文提出了一种基于连续扩散过程的通用图神经PDE框架，表明图神经PDE在拓扑扰动下本质上比标准GNN更具鲁棒性。通过利用热半群在度量扰动下的稳定性，该方法在基准数据集上实现了鲁棒性能，理论与实证证据均支持其对对抗性边和节点攻击的抗性。

ABSTRACT

Neural diffusion on graphs is a novel class of graph neural networks that has attracted increasing attention recently. The capability of graph neural partial differential equations (PDEs) in addressing common hurdles of graph neural networks (GNNs), such as the problems of over-smoothing and bottlenecks, has been investigated but not their robustness to adversarial attacks. In this work, we explore the robustness properties of graph neural PDEs. We empirically demonstrate that graph neural PDEs are intrinsically more robust against topology perturbation as compared to other GNNs. We provide insights into this phenomenon by exploiting the stability of the heat semigroup under graph topology perturbations. We discuss various graph diffusion operators and relate them to existing graph neural PDEs. Furthermore, we propose a general graph neural PDE framework based on which a new class of robust GNNs can be defined. We verify that the new model achieves comparable state-of-the-art performance on several benchmark datasets.

研究动机与目标

• 研究图神经PDE对对抗性拓扑扰动的鲁棒性，这是标准GNN的一个关键脆弱点。
• 建立图扩散过程在小规模图拓扑变化下稳定性的理论基础。
• 开发一种通用的基于PDE的框架，以支持新型鲁棒GNN架构的设计。
• 验证所提出的模型在保持对对抗攻击鲁棒性的同时，实现最先进性能。

提出的方法

• 本文将图扩散形式化为图上的连续过程，类比于黎曼流形上的热扩散。
• 建立了图拉普拉斯算子小扰动下热半群的理论稳定性，将其与对拓扑变化的鲁棒性联系起来。
• 该框架将热流推广至保持边的流，如平均曲率流和贝尔特拉米流，这些流在扩散过程中保持结构完整性。
• 从这些广义流中推导出一类新型图神经PDE，实现更稳定和鲁棒的消息传递。
• 该方法使用时变和时不变的拉普拉斯算子来建模动态图扰动并分析系统敏感性。
• 在标准基准数据集上进行实证验证，与现有GNN及防御方法比较其鲁棒性与性能。

实验结果

研究问题

• RQ1 为何图神经PDE比标准GNN对拓扑扰动更具鲁棒性？
• RQ2 热半群在黎曼流形上的稳定性如何在图拓扑变化下映射到离散图结构？
• RQ3 如平均曲率流和贝尔特拉米流等广义扩散流能否保持类间边并提升鲁棒性？
• RQ4 与现有GNN相比，所提出的基于PDE的框架在对抗性攻击下在多大程度上保持性能？
• RQ5 对于时变或扰动的拉普拉斯算子，图神经PDE的鲁棒性可提供哪些理论保证？

主要发现

• 图神经PDE由于在小图度量变化下热半群的稳定性，对拓扑扰动表现出内在鲁棒性。
• 理论分析表明，图拉普拉斯算子的扰动会导致解的有界偏差，误差以 O(e^{-ρt}∫₀ᵗε(τ)dτ) 的形式增长，其中 ρ>0。
• 所提出的广义PDE框架，结合平均曲率流和贝尔特拉米流，能在扩散过程中保持类间边，增强结构鲁棒性。
• 实证结果证实，新模型在Cora、PubMed和Citeseer等节点分类基准上实现了相当或最先进性能。
• 模型在对抗性设置下对注入攻击和修改攻击均表现出强鲁棒性，优于非PDE GNN。
• 即使在时不变情况下，该框架也相对于标准GNN展现出可测量的鲁棒性提升，验证了理论洞察。