[论文解读] A Convex Relaxation Barrier to Tight Robustness Verification of Neural Networks

Hadi Salman, Greg Yang+3 more|arXiv (Cornell University)|Feb 23, 2019

Adversarial Robustness in Machine Learning参考文献 45被引用 78

一句话总结

该论文将LP松弛的神经网络验证器统一到一个凸松弛框架之下，证明了收紧这些松弛的障碍，并且在MNIST/CIFAR-10实验中显示最优松弛并未缩小与经验攻击之间的差距。

ABSTRACT

Verification of neural networks enables us to gauge their robustness against adversarial attacks. Verification algorithms fall into two categories: exact verifiers that run in exponential time and relaxed verifiers that are efficient but incomplete. In this paper, we unify all existing LP-relaxed verifiers, to the best of our knowledge, under a general convex relaxation framework. This framework works for neural networks with diverse architectures and nonlinearities and covers both primal and dual views of robustness verification. We further prove strong duality between the primal and dual problems under very mild conditions. Next, we perform large-scale experiments, amounting to more than 22 CPU-years, to obtain exact solution to the convex-relaxed problem that is optimal within our framework for ReLU networks. We find the exact solution does not significantly improve upon the gap between PGD and existing relaxed verifiers for various networks trained normally or robustly on MNIST and CIFAR datasets. Our results suggest there is an inherent barrier to tight verification for the large class of methods captured by our framework. We discuss possible causes of this barrier and potential future directions for bypassing it. Our code and trained models are available at http://github.com/Hadisalman/robust-verify-benchmark .

研究动机与目标

• 定义一个统一的凸松弛框架，涵盖用于神经网络鲁棒性验证的现有LP松弛验证器。
• 研究分层凸松弛的理论极限（障碍）及其对验证紧密性的影响。
• 在不同网络和数据集（MNIST，CIFAR-10）上，以经验方式评估最优凸松弛相对于PGD攻击和MILP验证器的表现。
• 讨论绕过该障碍并改进鲁棒性验证的潜在方向。

提出的方法

• 对一个具有L层前馈网络的验证问题进行公式化，并对非线性激活进行凸松弛。
• 推导约束验证目标的原问题和对偶的凸松弛，包括常见非线性函数的最优凸松弛。
• 在较弱条件下（强对偶性）证明放松的原问题对偶与原问题对偶的等价性。
• 用线性界限贪心地求解对偶，以恢复现有方法（例如Fast-Lin、CROWN）作为特例。
• 在大规模实验中定义并比较LP松弛验证器（LP-all、LP-greedy、LP-last）与PGD和MILP基线。

实验结果

研究问题

• RQ1 是否存在一个单一的凸松弛框架能够捕捉所有现有的LP松弛神经网络验证器？
• RQ2 是否存在分层凸松弛中的根本障碍，阻止加强鲁棒性验证？
• RQ3 最佳的分层凸松弛是否能显著提升鲁棒性证明，相比现有方法？
• RQ4 在标准基准上，最紧的凸松弛验证与经验攻击（PGD）和精确MILP验证器相比如何？
• RQ5 有哪些方向可能绕过已识别的障碍，以实现更紧致的鲁棒性验证？

主要发现

• 统一的原问题-对偶凸松弛框架涵盖了先前用于NN鲁棒性验证的LP松弛验证器。
• 存在一个障碍，在测试的网络中，最优分层凸松弛无法将与PGD上界或MILP精确结果之间的差距缩小。
• 在MNIST和CIFAR-10上，最好的凸松弛在下界上对现有松弛仅有边际改进，且未能消除与经验攻击之间的差距。
• 贪心对偶解将已知方法（Fast-Lin、DeepPoly/CROWN）作为特例恢复，将它们在统一框架内联系起来。
• 广泛的大规模实验（相当于超过22个CPU年）表明该障碍在ReLU网络中普遍存在，并促使未来工作超越分层凸松弛。