[论文解读] A Tool for Neural Network Global Robustness Certification and Training

Zhilu Wang, Yixuan Wang+5 more|arXiv (Cornell University)|Aug 15, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出 GROCET，一种基于 GPU 加速的可微分框架，用于深度神经网络的全局鲁棒性认证。通过用符号传播和分支定界法替代基于优化的认证方法，GROCET 实现了更快、可扩展的认证，并支持将全局鲁棒性作为可微分正则化项进行端到端训练，显著提升了大型网络的鲁棒性。

ABSTRACT

With the increment of interest in leveraging machine learning technology in safety-critical systems, the robustness of neural networks under external disturbance receives more and more concerns. Global robustness is a robustness property defined on the entire input domain. And a certified globally robust network can ensure its robustness on any possible network input. However, the state-of-the-art global robustness certification algorithm can only certify networks with at most several thousand neurons. In this paper, we propose the GPU-supported global robustness certification framework GROCET, which is more efficient than the previous optimization-based certification approach. Moreover, GROCET provides differentiable global robustness, which is leveraged in the training of globally robust neural networks.

研究动机与目标

• 为解决现有全局鲁棒性认证方法在大型神经网络中的可扩展性和效率限制。
• 通过符号传播实现基于 GPU 加速的实时、可扩展认证。
• 提供可微分的全局鲁棒性，用于训练过程中的正则化项。
• 在大型网络架构中，显著提升深度神经网络的全局鲁棒性，超越标准正则化所能达到的水平。

提出的方法

• GROCET 使用交错双网络编码（ITNE）将输入扰动和输出变化表示为各层上的符号边界。
• 通过符号传播逐层计算输出变化边界相对于输入扰动的线性超逼近。
• 框架采用分支定界策略迭代收紧这些边界，支持在任意时刻提前停止并返回当前最优结果。
• 将先前基于优化的 MILP-ITNE 方法替换为可微分、支持 GPU 并行化的算法，以提升速度和可扩展性。
• 将全局鲁棒性整合为训练损失中的可微分正则化项，直接优化鲁棒性。
• 该方法支持全连接层、卷积层、ReLU 层和池化层，计算图中支持加法和减法层。

实验结果

研究问题

• RQ1 符号传播与分支定界能否替代基于优化的认证方法，实现 GPU 加速和更快的全局鲁棒性验证？
• RQ2 可微分的全局鲁棒性能否有效用作正则化项，以训练出具有更高全局鲁棒性的神经网络？
• RQ3 在大规模网络上，GROCET 的性能与超逼近的紧致性与 MILP-ITNE 相比如何？
• RQ4 GROCET 是否能够在包含超过 10,000 个神经元的网络上保持实际认证时间，实现可扩展性？

主要发现

• 在相似运行时间下，GROCET 对输出变化边界的超逼近显著更紧，测试模型上的边界紧致性最高提升 34.1%。
• 在 DNN-5 模型（CIFAR-10）上，GROCET 将认证时间从 MILP-ITNE 的 1241 秒减少至 1.074 秒，实现 1155 倍加速。
• 在 MNIST 模型 DNN-2 上，使用 GROCET 进行全局鲁棒训练，测试准确率从 95.80% 提升至 96.88%，同时保持相近的鲁棒性水平。
• 在更大的 DNN-5 模型上，使用 GROCET 进行全局鲁棒训练，相比标准 L2 正则化训练，认证的全局鲁棒性提升超过 10 倍。
• GROCET 支持在任意时刻进行提前停止并返回当前最优结果，相比必须完成全部优化的 MILP-ITNE 更具灵活性。