[论文解读] A Dual Approach to Scalable Verification of Deep Networks

Krishnamurthy, Dvijotham+4 more|arXiv (Cornell University)|Mar 17, 2018

Adversarial Robustness in Machine Learning参考文献 15被引用 172

一句话总结

本论文提出一种通用的基于优化的验证框架，通过紧凑的、 anytime 对偶形式，在任意架构和激活函数的适用性下，对最坏情况规格违规给出上界。它展示了针对 MNIST 和 CIFAR-10 的对抗鲁棒性的已验证界限达到的最新水平，并展现出超越先前方法的可扩展性。

ABSTRACT

This paper addresses the problem of formally verifying desirable properties of neural networks, i.e., obtaining provable guarantees that neural networks satisfy specifications relating their inputs and outputs (robustness to bounded norm adversarial perturbations, for example). Most previous work on this topic was limited in its applicability by the size of the network, network architecture and the complexity of properties to be verified. In contrast, our framework applies to a general class of activation functions and specifications on neural network inputs and outputs. We formulate verification as an optimization problem (seeking to find the largest violation of the specification) and solve a Lagrangian relaxation of the optimization problem to obtain an upper bound on the worst case violation of the specification being verified. Our approach is anytime i.e. it can be stopped at any time and a valid bound on the maximum violation can be obtained. We develop specialized verification algorithms with provable tightness guarantees under special assumptions and demonstrate the practical significance of our general verification approach on a variety of verification tasks.

研究动机与目标

• 在安全关键情境中，激励超越标准测试集准确性的可证明保证的需求。
• 提出一种基于优化的验证公式，能够处理任意前馈网络和激活函数。
• 开发一种对偶、无约束的凸优化方法，以高效地计算验证目标的有效上界。
• 展示针对图像分类器及其他任务的对抗鲁棒性的紧致、可扩展的验证界限。
• 突出该方法的 anytime 属性及其对离散输入和组合输入约束的适用性。

提出的方法

• 将验证建模为在所有允许输入中找到线性规格的最大违规值。
• 应用拉格朗日松弛以获得对最坏情况验证目标的上界（弱对偶性）。
• 推导出可分离的、分层的优化，导向一个无约束的对偶问题，能通过子梯度方法求解。
• 为每层的激活界限和线性扰动项提供闭式解或易于求解的一维子问题。
• 证明对分段线性激活的现有基于 LP 的验证的等价性，并推广至一般激活函数。
• 展示该方法的 anytime 属性，即使计算中断也能获得可用的界。

实验结果

研究问题

• RQ1 是否可以对任意激活函数与架构的通用前馈网络进行验证？
• RQ2 对偶性是否能给出对给定规格的最坏情况违规的可计算且紧密的上界？
• RQ3 与现有的验证方法（例如 SDP、LP 松弛）相比，在紧密性和可扩展性方面，该方法表现如何？
• RQ4 该验证框架能否适应离散输入及组合/输入空间约束？
• RQ5 在对 MNIST 与 CIFAR-10 的归一化范数边界扰动下，能达到的对抗鲁棒性实际界限是什么？

主要发现

• 该框架对任意对偶变量选择均能给出验证目标的有效上界，并且上界通过对偶变量的优化来收敛更紧。
• 对于分段线性激活，该方法可恢复先前工作的 LP 对偶，同时提供一个无约束对偶，避免了训练时反向传播在非凸问题上的顾虑。
• 分层、可分离的结构使得通过子梯度方法进行高效的凸优化成为可能，能够扩展到大型网络。
• 为单隐层网络开发了具有可证明紧密性保证的专用验证算法。
• 该方法在对 MNIST 和 CIFAR-10 的无限范数扰动下取得了对抗错误率的最新已验证界限，并且能够处理离散或组合输入约束。
• 在 MNIST、CIFAR、GitHub 分类器稳定性任务和一个复杂的数字和任务上的实验展示了紧密边界，并在可比的适用场景中相比于现有方法表现良好。