[论文解读] Globally-Robust Neural Networks

K. Rustan M. Leino, Zifan Wang+1 more|arXiv (Cornell University)|Feb 16, 2021

Adversarial Robustness in Machine Learning参考文献 47被引用 23

一句话总结

本文提出全局鲁棒神经网络（GloRo Net），一种通过使用全局Lipschitz界训练神经网络的方法，实现了最低的训练与推理开销，达到最先进的可验证鲁棒准确率。通过在前向传播中引入可学习的全局Lipschitz约束，并采用一种新型损失函数，该方法可在推理时实现高效、确定性的鲁棒性认证，相较于先前方法在MNIST、CIFAR-10和Tiny-ImageNet上的速度、内存效率和可验证准确率方面表现更优。

ABSTRACT

The threat of adversarial examples has motivated work on training certifiably robust neural networks to facilitate efficient verification of local robustness at inference time. We formalize a notion of global robustness, which captures the operational properties of on-line local robustness certification while yielding a natural learning objective for robust training. We show that widely-used architectures can be easily adapted to this objective by incorporating efficient global Lipschitz bounds into the network, yielding certifiably-robust models by construction that achieve state-of-the-art verifiable accuracy. Notably, this approach requires significantly less time and memory than recent certifiable training methods, and leads to negligible costs when certifying points on-line; for example, our evaluation shows that it is possible to train a large robust Tiny-Imagenet model in a matter of hours. Our models effectively leverage inexpensive global Lipschitz bounds for real-time certification, despite prior suggestions that tighter local bounds are needed for good performance; we posit this is possible because our models are specifically trained to achieve tighter global bounds. Namely, we prove that the maximum achievable verifiable accuracy for a given dataset is not improved by using a local bound.

研究动机与目标

• 解决现有可认证鲁棒训练方法在神经网络中计算成本高、内存需求大的问题。
• 克服全局Lipschitz界常被认为过于宽松而难以有效用于鲁棒性认证的局限性。
• 开发一种训练框架，将全局Lipschitz界不仅作为代理，更作为实现鲁棒性的核心机制，从构建上确保鲁棒性。
• 实现在推理过程中实时、低成本的鲁棒性认证，其效率与标准前向传播相当。
• 证明通过适当训练，全局鲁棒性可实现与依赖更紧局部界的方法相当或更优的性能。

提出的方法

• 形式化定义一种全局鲁棒性概念：任意两类区域之间的特征空间至少被ε分隔，要求模型在不确定输入上拒绝预测。
• 通过在前向传播中集成全局Lipschitz界作为新的“鲁棒性破坏”类别，构建GloRo Net。
• 使用一种新型损失函数，当全局Lipschitz界超过ε时对预测进行惩罚，通过优化促使边界更紧密。
• 利用全局Lipschitz界可高效计算的特性，并将其作为轻量级、可微分的组件集成到网络中。
• 使用标准反向传播训练模型，损失函数在所有非真实标签logits上增加√2εK_G，促进鲁棒性而不惩罚远距离边界。
• 通过单次前向传播实现在线认证，因为全局界计算已高效嵌入网络架构中。

实验结果

研究问题

• RQ1 尽管先前认为需要更紧的局部界，全局Lipschitz界能否有效作为训练可认证鲁棒神经网络的主要机制？
• RQ2 与依赖局部界或对偶网络的方法相比，针对全局Lipschitz约束进行训练是否能获得更高的可验证鲁棒准确率？
• RQ3 能否以极低的训练与推理开销实现全局鲁棒性，从而在实际中实现实时认证？
• RQ4 全局与局部界在鲁棒性认证中的性能差距是固有局限，还是可通过适当的训练目标被克服？
• RQ5 与随机平滑方法相比，该方法在认证速度、确定性及可验证准确率方面表现如何？

主要发现

• 所提出的GloRo Net方法在MNIST上实现了63%的可验证鲁棒准确率（ε=1.58），较所有先前方法高出多个百分点。
• 该方法在更大数据集上表现出良好可扩展性，在CIFAR-10上达到最先进的可验证鲁棒准确率，并在数小时内完成大型Tiny-ImageNet模型的训练。
• GloRo Net的认证仅需一次前向传播，显著快于随机平滑方法，后者每输入可能需要多达100,000次前向传播。
• 尽管使用全局界，该方法性能与或优于使用局部界的方法，证明在适当训练下，全局界并非固有瓶颈。
• 训练过程带来的内存与时间开销可忽略不计，认证成本几乎与标准推理相同，支持实时部署。
• 理论分析证明，任何可通过局部界实现的鲁棒分类，只要网络训练目标为最小化全局Lipschitz常数，也可通过全局界实现。