[论文解读] Efficient Robustness Certificates for Discrete Data: Sparsity-Aware Randomized Smoothing for Graphs, Images and More

Aleksandar Bojchevski, Johannes Klicpera+1 more|arXiv (Cornell University)|Aug 29, 2020

Advanced Graph Neural Networks参考文献 42被引用 8

一句话总结

本文提出了一种针对离散数据的稀疏感知、模型无关的鲁棒性证书，基于随机平滑方法，实现了对图神经网络（GNNs）在结构和属性扰动下的高效且紧致的认证。该方法在计算效率上达到当前最先进水平——对ImageNet图像的认证时间不足一秒，而此前工作需四天，同时其性能与输入大小和离散类别数量无关。

ABSTRACT

Existing techniques for certifying the robustness of models for discrete data either work only for a small class of models or are general at the expense of efficiency or tightness. Moreover, they do not account for sparsity in the input which, as our findings show, is often essential for obtaining non-trivial guarantees. We propose a model-agnostic certificate based on the randomized smoothing framework which subsumes earlier work and is tight, efficient, and sparsity-aware. Its computational complexity does not depend on the number of discrete categories or the dimension of the input (e.g. the graph size), making it highly scalable. We show the effectiveness of our approach on a wide variety of models, datasets, and tasks -- specifically highlighting its use for Graph Neural Networks. So far, obtaining provable guarantees for GNNs has been difficult due to the discrete and non-i.i.d. nature of graph data. Our method can certify any GNN and handles perturbations to both the graph structure and the node attributes.

研究动机与目标

• 为离散数据，特别是图结构输入，解决缺乏高效、紧致且稀疏感知的鲁棒性证书的问题。
• 克服先前证书的局限性，即效率低下、非稀疏感知，或仅适用于特定模型或扰动类型。
• 为任意GNN模型（包括图级别分类）在联合结构和属性扰动下提供可证明的鲁棒性认证。
• 实现与输入维度或离散类别数量无关的计算效率，从而实现对大规模图和高维离散数据的可扩展性。
• 在多样化任务中验证该方法的有效性，包括GNN、离散化图像和序列，相较于现有方法展现出更优的运行时间和更紧致的保证。

提出的方法

• 通过引入一种尊重输入（如图和图像）的结构和稀疏特性的稀疏感知随机化方案，将随机平滑框架适配于离散数据。
• 采用广义随机化机制，其中每个离散元素独立地以不同的正类和负类翻转概率（p+ 和 p−）进行扰动，从而实现对平滑分布的细粒度控制。
• 基于对随机化输入的多数投票结果，推导出基于概率的鲁棒性证书，利用集中不等式来限制扰动下的误分类概率。
• 仅通过模型在随机样本上的预测结果计算证书，实现模型无关性，避免对GNN中消息传递动态的复杂分析。
• 采用多分类扩展并结合Bonferroni校正，相比二分类公式，显著提升了保证的紧致性。
• 预先计算并重用扰动概率矩阵 ρx,xt，以在不重新计算完整分布的前提下，加速对多个测试输入的认证过程。

实验结果

研究问题

• RQ1 我们能否设计一种针对离散数据的鲁棒性认证方法，实现高效且紧致，同时避免依赖保守的松弛？
• RQ2 如何将输入稀疏性融入随机平滑中，以提升图和其他离散数据的鲁棒性证书质量？
• RQ3 我们能否将鲁棒性认证扩展至在联合结构和属性扰动下运行的GNN，包括图级别分类？
• RQ4 与标准随机平滑相比，稀疏感知平滑的计算开销如何？其是否可扩展至大规模图和高维离散输入？
• RQ5 在真实世界基准上，该方法与现有离散数据证书相比，在认证准确率和推理时间方面表现如何？

主要发现

• 所提方法在离散化ImageNet上于 r=1 时实现0.54的认证准确率，运行时间仅2.5毫秒，而Lee等人（2019）需四天，效率提升达1000倍。
• 通过使用独立的翻转概率（p+ = 0.1，p− = 0.2），在相同扰动半径下，与非稀疏感知基线相比，认证比例最高提升30%。
• 采用Bonferroni校正的多分类证书相比二分类变体提供更紧致的保证，在类似设置下使二值化MNIST的认证准确率最高提升10%。
• 该方法首次实现了对图级别GNN的可证明鲁棒性认证，此前此类任务未被现有证书覆盖。
• 计算复杂度与输入大小和离散类别数量无关，从而可扩展至大规模图和高维离散数据（如分子或序列）。
• 该方法涵盖了先前关于离散数据的工作，并提供了一个统一框架，相比现有方法更高效、更紧致，尤其在高维或稀疏场景下优势显著。