[论文解读] Defensive Quantization: When Efficiency Meets Robustness

Ji Lin, Chuang Gan+1 more|arXiv (Cornell University)|Apr 17, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用 34

一句话总结

论文表明，常规模型的神经网络量化会因误差放大效应而削弱对抗鲁棒性，并引入 Defensive Quantization (DQ)，在量化过程中正则化 Lipschitz 常数以在保持效率的同时提升鲁棒性，证明于 CIFAR-10 和 SVHN。

ABSTRACT

Neural network quantization is becoming an industry standard to efficiently deploy deep learning models on hardware platforms, such as CPU, GPU, TPU, and FPGAs. However, we observe that the conventional quantization approaches are vulnerable to adversarial attacks. This paper aims to raise people's awareness about the security of the quantized models, and we designed a novel quantization methodology to jointly optimize the efficiency and robustness of deep learning models. We first conduct an empirical study to show that vanilla quantization suffers more from adversarial attacks. We observe that the inferior robustness comes from the error amplification effect, where the quantization operation further enlarges the distance caused by amplified noise. Then we propose a novel Defensive Quantization (DQ) method by controlling the Lipschitz constant of the network during quantization, such that the magnitude of the adversarial noise remains non-expansive during inference. Extensive experiments on CIFAR-10 and SVHN datasets demonstrate that our new quantization method can defend neural networks against adversarial examples, and even achieves superior robustness than their full-precision counterparts while maintaining the same hardware efficiency as vanilla quantization approaches. As a by-product, DQ can also improve the accuracy of quantized models without adversarial attack.

研究动机与目标

• 引发对部署的量化模型在对抗攻击下安全性的关注。
• 解释为什么传统量化通过误差放大导致脆弱性。
• 提出一种量化方法（DQ），在提升效率的同时增强鲁棒性。
• 展示经验证据，表明 DQ 的鲁棒性优于常规模型量化，并在选定数据集上达到或超过全精度鲁棒性。
• 强调 DQ 与其他防御技术的兼容性及其对训练的好处。

提出的方法

• 通过经验研究显示，量化在跨层的误差放大导致对抗攻击的脆弱性。
• 通过约束网络的 Lipschitz 常数来抑制扰动放大，提出 Defensive Quantization (DQ)。
• 用一个项 ||W^T W − I||^2 对权重进行正则化，以保持层的 Lipschitz 常数 ≤ 1（非扩张性）。
• 应用激活量化（ReLU6），并将 Lipschitz 正则化整合到训练目标：L = L_CE + (β/2) sum_W ||W^T W − I||^2。
• 像前人工作那样对 ResNets 使用凸聚合调整以保持稳定性。
• 证明 DQ 可以与其他防御（如对抗训练、特征压缩）结合，以提高鲁棒性。

实验结果

研究问题

• RQ1 与全精度模型相比，传统量化在对抗样本鲁棒性方面有何影响？
• RQ2 在量化过程中是否可以通过 Lipschitz 常数控制来防止跨层的对抗扰动放大？
• RQ3 Defensive Quantization 在提高鲁棒性的同时能否保持硬件效率？
• RQ4 DQ 如何与其他防御策略协同提高整体对抗鲁棒性？

主要发现

• 与全精度相比，常规激活量化使量化模型对对抗攻击的鲁棒性下降，即使清洁精度得以保持。
• Defensive Quantization (DQ) 在保持与 vanilla quantization 相同硬件效率的同时，提升甚至超过全精度模型的鲁棒性。
• 通过约束层的 Lipschitz 常数保持非扩张性可减少对抗噪声传播，β 越大带来更大的鲁棒性提升。
• 通过约束激活动态范围并降低截断导致的优化困难，DQ 可以改善对干净数据的量化模型训练。
• DQ 与其他防御措施（如对抗训练、特征压缩）兼容并可进一步提高效果。