[论文解读] Robustness Certificates Against Adversarial Examples for ReLU Networks

Sahil Singla, Soheil Feizi|arXiv (Cornell University)|Feb 1, 2019

Adversarial Robustness in Machine Learning参考文献 41被引用 5

一句话总结

本文提出了一种新颖的、可高效计算的ReLU神经网络鲁棒性证书，利用激活区域的分段线性结构。Simplex证书提供了可微分的、闭式解的对抗鲁棒性下界，其计算速度比先前方法快一个数量级，从而实现了对深层网络的可扩展认证。

ABSTRACT

While neural networks have achieved high performance in different learning tasks, their accuracy drops significantly in the presence of small adversarial perturbations to inputs. Defenses based on regularization and adversarial training are often followed by new attacks to defeat them. In this paper, we propose attack-agnostic robustness certificates for a multi-label classification problem using a deep ReLU network. Although computing the exact distance of a given input sample to the classification decision boundary requires solving a non-convex optimization, we characterize two lower bounds for such distances, namely the simplex certificate and the decision boundary certificate. These robustness certificates leverage the piece-wise linear structure of ReLU networks and use the fact that in a polyhedron around a given sample, the prediction function is linear. In particular, the proposed simplex certificate has a closed-form, is differentiable and is an order of magnitude faster to compute than the existing methods even for deep networks. In addition to theoretical bounds, we provide numerical results for our certificates over MNIST and compare them with some existing upper bounds.

研究动机与目标

• 解决深度学习中缺乏攻击无关的鲁棒性评估问题，现有方法依赖于对抗攻击的上界。
• 开发一种与特定攻击算法无关的下界鲁棒性证书，提供真正的安全保证。
• 利用ReLU网络的分段线性特性，推导出到对抗样本距离的紧致、可计算的下界。
• 设计一种既可微分又足够高效的证书，可用于训练鲁棒模型。
• 为深层ReLU网络提供可扩展的鲁棒性认证解决方案，尤其适用于多标签分类任务。

提出的方法

• 定义激活模式θ，将输入空间划分为多面体区域S(θ)，在这些区域内ReLU网络表现为线性函数dθ(x) = W^(θ)x + b^(θ)。
• 通过计算给定输入u到其局部多面体S(θ)内决策边界的最小距离，构建Simplex证书，采用闭式解。
• 利用S(θ)内的线性函数dθ(x)计算使预测类别发生翻转的最小扰动，确保该下界有效且保守。
• 基于多面体面的几何结构，推导出决策边界证书作为二级下界，适用于两层网络。
• 通过凸优化技术确保Simplex证书可微分且高效可计算，从而可集成到训练流程中。
• 在MNIST和CIFAR-10上通过与Fast-Lin、Fast-Lip和CROWN-Ada的对比验证方法，展示了显著的速度提升。

实验结果

研究问题

• RQ1 我们能否为ReLU网络推导出一种与特定对抗攻击方法无关的鲁棒性证书，并提供对抗扰动大小的真实下界？
• RQ2 如何利用ReLU网络的分段线性结构来计算紧致且高效的鲁棒性证书？
• RQ3 与现有下界方法相比，所提出的证书在计算效率上表现如何，尤其是在深层网络中？
• RQ4 所提出的证书能否作为训练过程中的正则化项，以提升对抗鲁棒性？
• RQ5 与FGSM和DeepFool等迭代攻击所得的上界相比，所提出的下界在多大程度上接近真实的鲁棒性半径？

主要发现

• Simplex证书的计算速度比Fast-Lin、Fast-Lip和CROWN-Ada等现有方法快一个数量级，分别在MNIST 3×[1024]、4×[1024]和CIFAR 7×[1024]网络上的计算时间为0.0037秒、0.0063秒和0.0387秒。
• 在下界值方面，Simplex证书显著优于决策边界证书，尤其在深层网络中表现更优。
• 在两层MNIST网络中，Simplex证书的值始终小于DeepFool和迭代FGSM的结果，证实其作为下界的有效性。
• 在深层网络（如MNIST上的3层MLP）中，某些样本的Simplex证书与DeepFool上界之间的差距较小，表明其具有紧致性。
• Simplex证书具有可微分和闭式表达的特性，使其有潜力集成到对抗训练或基于认证的优化中。
• 数值结果证实，所提出的证书确实是正确的下界，因为其始终小于由对抗攻击推导出的上界。