[论文解读] Interpretable Stability Bounds for Spectral Graph Filters

Henry Kenlay, Dorina Thanou+1 more|arXiv (Cornell University)|Feb 18, 2021

Advanced Graph Neural Networks参考文献 32被引用 4

一句话总结

本文提出了谱图滤波器在拓扑扰动下的可解释稳定性界，以删除或添加边的端点度数和空间接近度来表达滤波器输出的变化。关键贡献是提出了一种理论基础扎实、结构可解释的上界，表明当扰动集中于高阶节点且在空间上分布时，滤波器具有稳定性，该结论通过在多种图模型上进行的大量合成实验得到验证。

ABSTRACT

Graph-structured data arise in a variety of real-world context ranging from sensor and transportation to biological and social networks. As a ubiquitous tool to process graph-structured data, spectral graph filters have been used to solve common tasks such as denoising and anomaly detection, as well as design deep learning architectures such as graph neural networks. Despite being an important tool, there is a lack of theoretical understanding of the stability properties of spectral graph filters, which are important for designing robust machine learning models. In this paper, we study filter stability and provide a novel and interpretable upper bound on the change of filter output, where the bound is expressed in terms of the endpoint degrees of the deleted and newly added edges, as well as the spatial proximity of those edges. This upper bound allows us to reason, in terms of structural properties of the graph, when a spectral graph filter will be stable. We further perform extensive experiments to verify intuition that can be gained from the bound.

研究动机与目标

• 解决谱图滤波器在拓扑扰动下稳定性缺乏理论理解的问题。
• 开发一种基于图结构属性而非仅扰动幅度的可解释稳定性界。
• 识别谱图滤波器在边删除和添加下保持鲁棒性的充分条件。
• 通过在多样化图模型和扰动策略上进行广泛实验，验证理论见解。
• 为鲁棒图机器学习模型（尤其是图神经网络）的设计提供指导。

提出的方法

• 推导边删除和添加后谱图滤波器输出变化的上界。
• 以扰动边端点的度数及其空间接近度来表达该上界。
• 通过图移位算子和谱范数的不等式链，建立该上界。
• 分析该上界在不同图模型（ER、BA、WS等）和扰动策略（随机、对抗性、鲁棒）下的松紧程度。
• 设计并评估三种扰动策略：随机重连、对抗性PGD，以及基于上界的鲁棒策略。
• 在具有不同度分布的合成图上进行实验，评估结构属性对滤波器稳定性的影响。

实验结果

研究问题

• RQ1 在何种结构条件下，谱图滤波器在边被删除或添加时保持稳定？
• RQ2 扰动边端点的度数在多大程度上影响滤波器的稳定性？
• RQ3 扰动的空间集中程度在多大程度上影响滤波器输出的变化？
• RQ4 不同图模型（如无标度图与规则图）如何影响谱图滤波器的稳定性？
• RQ5 理论上的上界在多大程度上可指导设计最小化滤波器输出变化的鲁棒扰动策略？

主要发现

• 所提出的稳定性界具有可解释性，且明确依赖于被删除和添加边的端点度数。
• 当扰动集中于高阶节点时，滤波器更稳定，实验结果也证实了这一点（输出变化更小）。
• 扰动的空间分布显著影响稳定性：集中变化导致更大的输出波动。
• 该上界在重连策略下最紧致，在对抗性（PGD）和鲁棒策略下表现合理，尤其在度数方差较大的图上表现更优。
• 实验表明，PGD攻击主要针对低阶节点，而鲁棒策略则优先修改连接到高阶枢纽的边。
• 在K-正则图上，鲁棒策略使边修改在图中分布更均匀，与理论关于空间分布的见解一致。