[论文解读] Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks

Yusuke Tsuzuku, Issei Sato+1 more|arXiv (Cornell University)|Feb 12, 2018

Model Reduction and Neural Networks被引用 76

一句话总结

本文提出 Lipschitz-Margin Training (LMT)，用于计算紧致、可扩展的 Lipschitz 基边界并扩大数据周围的可证明不变区域，从而实现对大型神经网络的鲁棒性认证。

ABSTRACT

High sensitivity of neural networks against malicious perturbations on inputs causes security concerns. To take a steady step towards robust classifiers, we aim to create neural network models provably defended from perturbations. Prior certification work requires strong assumptions on network structures and massive computational costs, and thus the range of their applications was limited. From the relationship between the Lipschitz constants and prediction margins, we present a computationally efficient calculation technique to lower-bound the size of adversarial perturbations that can deceive networks, and that is widely applicable to various complicated networks. Moreover, we propose an efficient training procedure that robustifies networks and significantly improves the provably guarded areas around data points. In experimental evaluations, our method showed its ability to provide a non-trivial guarantee and enhance robustness for even large networks.

研究动机与目标

• 为深度网络对抗扰动提供可认证鲁棒性作为动机。
• 开发一种可扩展的方法来下限估计可能欺骗网络的扰动大小，适用于复杂架构。
• 提出一种训练过程，扩大数据点周围的可证明守护区域。
• 提供实用的 Lipschitz 常数界限并在多样化网络结构中实现高效认证流程。

提出的方法

• 将 Lipschitz 常数与预测边距相关联，以界定对抗扰动（Prop. 1 和 Prop. 2）。
• 以统一、可微分的方式计算大型/复杂架构中网络 Lipschitz 常数的上界。
• 通过对 logits 乘以与估计的 Lipschitz 界相关的因子来改写，发展 Lipschitz-margin training (LMT)，以扩大守护区域（式（Eq. 4））。
• 提供一种高效、可微的训练时估计线性分量的算子范数（谱范数）的程序（算法 2）。
• 通过网络组件的组合、相加和拼接规则对 Lipschitz 界进行聚合，以获得全局界（定理 2 及推论）。
• 表明该训练过程提高鲁棒性，并需要与增大批量大小相近的代价。

实验结果

研究问题

• RQ1 可以高效地为大型、现代网络上界 Lipschitz 常数，以证明扰动不变性吗？
• RQ2 一种强制执行与 Lipschitz 界相关的边距的训练过程，是否能在不牺牲对干净数据准确性的前提下扩大可证明守护区域？
• RQ3 所提界的一致性和实用性相较于以往的认证方法，在不同网络规模上如何？
• RQ4 该方法是否可扩展到大型网络（如宽残差网络），并仍然提供有意义的鲁棒性证明？

主要发现

• 作者为主要网络组件（卷积、批归一化、池化、激活）推导出更紧凑的统一 Lipschitz 界，并提供了可微的、训练时近似。
• Lipschitz-margin Training (LMT) 通过执行超过 Lipschitz 界和扰动半径 c 的函数的边距，扩大了数据点周围的可证明守护区域。
• 实验表明，在 SVHN 的小型网络和大型 16 层宽残差网络上，与基线正则化方法相比，认证的紧证性和鲁棒性有所提升。
• LMT 在 l2-范数下给出非平凡的认证扰动区域，在许多情况下比对比网络结构下的先前、计算成本较低的方法得到更大的守护区域。
• 在 C&W 型攻击下，LMT 训练的模型在扰动下保持更高的准确性，相较于权重衰减、Parseval 网络或谱范数正则化的鲁棒性提升尤为明显，且在较大扰动半径下尤为显著。