[论文解读] A Provable Defense for Deep Residual Networks

Matthew Mirman, Gagandeep Singh+1 more|arXiv (Cornell University)|Mar 29, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用 17

一句话总结

本文提出一种基于可微分抽象解释的可证明防御方法，用于深度残差网络，实现了如ResNet-34和DenseNet-100等大型模型的可验证鲁棒性。该方法提出抽象层以实现精度控制，并设计领域特定语言（DSL）以组合复杂训练目标，首次实现了针对ImageNet规模网络在ℓ∞扰动下的可证明鲁棒性训练。

ABSTRACT

We present a training system, which can provably defend significantly larger neural networks than previously possible, including ResNet-34 and DenseNet-100. Our approach is based on differentiable abstract interpretation and introduces two novel concepts: (i) abstract layers for fine-tuning the precision and scalability of the abstraction, (ii) a flexible domain specific language (DSL) for describing training objectives that combine abstract and concrete losses with arbitrary specifications. Our training method is implemented in the DiffAI system.

研究动机与目标

• 解决大型深度残差网络（如ResNet-34）缺乏可扩展、可证明鲁棒训练的问题。
• 克服先前方法仅对最多两层卷积层的小型网络实现可证明鲁棒性的局限。
• 通过形式化验证，实现对ℓ∞对抗攻击具有保证鲁棒性的深度网络训练。
• 开发一个将形式化验证与端到端训练集成的系统，以实现实际部署。

提出的方法

• 引入抽象层——一种特殊层，不影响标准推理，但可提升基于抽象解释验证的精度与可扩展性。
• 采用可微分抽象解释，计算输入扰动下网络输出的可靠上界近似。
• 设计灵活的领域特定语言（DSL），用于指定结合抽象损失与具体损失的混合训练目标，并支持任意鲁棒性规格。
• 利用DiffAI系统集成DSL与抽象解释，实现具有可证明鲁棒性保证的端到端可微训练。
• 对每一层应用抽象变换器，组合生成一个全局抽象变换器，以对ℓ∞有界输入扰动集上的网络行为进行上界近似。
• 利用对偶方法与抽象解释，在训练过程中推导出可证明的鲁棒性证书，确保在给定扰动半径内所有输入均具有鲁棒性。

实验结果

研究问题

• RQ1 抽象层能否提升大型残差网络中抽象解释的精度与可扩展性？
• RQ2 用于指定混合训练目标的DSL能否有效实现具体损失与抽象损失在可证明鲁棒训练中的结合？
• RQ3 能否对ResNet-34模型实现对抗ℓ∞攻击下具有形式化保证的鲁棒性？
• RQ4 与仅适用于小型架构的先前方法相比，该方法在更大网络上的可扩展性如何？
• RQ5 将形式化验证集成到训练循环中，能否实现针对ImageNet规模模型的实用且可扩展的防御？

主要发现

• 所提方法实现了对ResNet-34的可证明鲁棒性，具有里程碑意义，因为它是何等等人（2016）提出的最小残差网络架构。
• 该系统成功防御了DenseNet-100，证明了其在小型网络之外的可扩展性。
• 使用抽象层在不改变标准推理的前提下提升了抽象的精度，从而实现了更紧致的鲁棒性边界。
• DSL支持灵活指定复杂训练目标，结合抽象损失与具体损失以增强鲁棒性。
• 该方法可扩展至参数量达1800万、神经元数达311,000的网络，相比先前可证明鲁棒训练方法在规模上提升了约一个数量级。
• 该方法实现了对ImageNet规模模型的可验证鲁棒性，标志着深度学习形式化鲁棒性的重要进展。