[论文解读] Certifiable Robustness to Graph Perturbations

Aleksandar Bojchevski, Stephan Günnemann|arXiv (Cornell University)|Oct 31, 2019

Adversarial Robustness in Machine Learning被引用 52

一句话总结

该论文为适用于图神经网络和标签/特征传播的图扰动提供可证实的鲁棒性保障，使用 PageRank-based 证书和鲁棒训练。

ABSTRACT

Despite the exploding interest in graph neural networks there has been little effort to verify and improve their robustness. This is even more alarming given recent findings showing that they are extremely vulnerable to adversarial attacks on both the graph structure and the node attributes. We propose the first method for verifying certifiable (non-)robustness to graph perturbations for a general class of models that includes graph neural networks and label/feature propagation. By exploiting connections to PageRank and Markov decision processes our certificates can be efficiently (and under many threat models exactly) computed. Furthermore, we investigate robust training procedures that increase the number of certifiably robust nodes while maintaining or improving the clean predictive accuracy.

研究动机与目标

• 激励并量化基于图的模型在对抗性图结构扰动下的鲁棒性。
• 提供在局部预算下的高效、精确的可证实鲁棒性证书，以及在全局预算下的精确或下界证书。
• 开发鲁棒训练程序，在不损害清晰准确性的前提下提升鲁棒性。

提出的方法

• 将预测建模为个性化 PageRank 的线性函数，从而在对图扰动下实现鲁棒性证书。
• 将威胁模型定义为包含固定边和脆弱边，以及全局/局部扰动预算。
• 将鲁棒性证书转化为在预算约束下对 PageRank 的线性优化，对于局部预算通过策略迭代给出精确解。
• 通过构建辅助图 MDP，并使用 Reformulation Linearization Technique (RLT) 求解带二次约束的线性规划（QCLP），以获得下界。
• 仅考虑局部预算时提供精确证书，包含全局预算时给出计算上可处理的界。
• 提出利用最坏情形边距的鲁棒训练损失，以在训练期间提升鲁棒性。

实验结果

研究问题

• RQ1 我们能否证明在给定预算下，某节点的预测对所有可接受的脆弱边扰动都是鲁棒的吗？
• RQ2 如何高效地计算局部扰动的证书，以及如何在全局预算下获得可处理的界限？
• RQ3 可否利用鲁棒性证书来引导训练，在不损害清晰准确性的前提下提升模型韧性？

主要发现

• 针对局部预算，可以计算出精确证书，从而确定目标节点的可证实鲁棒性。
• 全局预算情形是 NP 困难的，但可以通过辅助图 MDP 与带 RLT 松弛的 QCLP，有效计算最坏情形边距的下界。
• 使用最坏情形边距的鲁棒训练可以在维持甚至提升清晰准确性的同时提高鲁棒性。
• 该方法广泛适用于预测对个性化 PageRank 线性相关的模型，包括 GNNs 和标签/特征传播。
• 在基准图上的实验证明了可证实鲁棒性和提升鲁棒性的训练的可行性。