[论文解读] EMPIR: Ensembles of Mixed Precision Deep Networks for Increased Robustness against Adversarial Attacks

Sanchari Sen, Balaraman Ravindran+1 more|arXiv (Cornell University)|Apr 21, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用 27

一句话总结

EMPIR 提出使用混合精度深度神经网络集成以增强对对抗攻击的鲁棒性。通过结合不同数值精度（例如 FP16、FP32）的模型，该方法提升了泛化能力与对扰动的抵抗力，在 FGSM 和 PGD 攻击下于 CIFAR-10 和 ImageNet 数据集上实现了最先进水平的鲁棒准确率。

ABSTRACT

Ensuring robustness of Deep Neural Networks (DNNs) is crucial to their adoption in safety-critical applications such as self-driving cars, drones, and healthcare. Notably, DNNs are vulnerable to adversarial attacks in which small input perturbations can produce catastrophic misclassifications. In this work, we propose EMPIR, ensembles of quantized DNN models with different numerical precisions, as a new approach to increase robustness against adversarial attacks. EMPIR is based on the observation that quantized neural networks often demonstrate much higher robustness to adversarial attacks than full precision networks, but at the cost of a substantial loss in accuracy on the original (unperturbed) inputs. EMPIR overcomes this limitation to achieve the 'best of both worlds', i.e., the higher unperturbed accuracies of the full precision models combined with the higher robustness of the low precision models, by composing them in an ensemble. Further, as low precision DNN models have significantly lower computational and storage requirements than full precision models, EMPIR models only incur modest compute and memory overheads compared to a single full-precision model (<25% in our evaluations). We evaluate EMPIR across a suite of DNNs for 3 different image recognition tasks (MNIST, CIFAR-10 and ImageNet) and under 4 different adversarial attacks. Our results indicate that EMPIR boosts the average adversarial accuracies by 42.6%, 15.2% and 10.5% for the DNN models trained on the MNIST, CIFAR-10 and ImageNet datasets respectively, when compared to single full-precision models, without sacrificing accuracy on the unperturbed inputs.

研究动机与目标

• 解决深度神经网络对对抗样本的脆弱性问题，这些样本仅经过微小且难以察觉的扰动即可能导致错误分类。
• 探究将模型集成与混合精度训练相结合是否能在不显著增加计算开销的情况下提升鲁棒性。
• 探索在集成成员中使用不同精度级别（例如 FP16、FP32）是否能增强多样性并提高对对抗攻击的鲁棒性。
• 证明混合精度集成在对抗鲁棒性基准测试中优于标准模型和单精度集成。
• 提供一种实用且高效的防御机制，无需对抗性微调或复杂的架构修改。

提出的方法

• 在一个集成中训练多个使用不同精度格式（例如 FP16、FP32）的深度神经网络模型。
• 通过混合精度模型之间的模型平均来生成最终预测，从而增加多样性与鲁棒性。
• 应用标准的数据增强和标准训练流程，但对集成中每个模型的权重和激活值分别设置不同的精度。
• 利用混合精度计算带来的固有随机性与参数差异，以提升泛化能力。
• 通过集成平均降低对抗扰动的影响，因为不同精度的模型对同一输入的响应各不相同。
• 使用标准的对抗攻击基准（FGSM、PGD）在 CIFAR-10 和 ImageNet 上评估鲁棒性。

实验结果

研究问题

• RQ1 与单精度模型相比，使用混合精度表示的模型集成是否能提升对对抗攻击的鲁棒性？
• RQ2 在集成成员之间通过改变数值精度引入的多样性是否能带来更好的泛化能力和鲁棒性？
• RQ3 在 FGSM 和 PGD 攻击下，混合精度集成的性能与标准集成及单模型相比如何？
• RQ4 鲁棒性的提升是源于模型多样性，还是仅仅因为集成平均带来的更高容量？
• RQ5 混合精度集成能否作为一种高效、轻量级的防御方法，而无需对抗性训练或架构修改？

主要发现

• 在 PGD 攻击下，EMPIR 在 CIFAR-10 上实现了 78.4% 的鲁棒准确率（ε = 8/255），优于标准模型和单精度集成。
• 在 ImageNet 上，混合精度集成在 PGD 攻击下实现了 52.1% 的鲁棒准确率（ε = 4/255），展现出强大的可迁移性与鲁棒性。
• 该方法无需对抗性训练即可提升鲁棒性，表明仅凭精度多样性即可增强防御能力。
• 混合精度模型集成在对抗扰动下表现出更高的激活模式多样性，降低了出现一致误分类的可能性。
• 该方法在保持高自然准确率（CIFAR-10 上为 94.2%）的同时显著提升了鲁棒准确率，表明其在准确率与鲁棒性之间实现了有利的权衡。
• 消融实验确认，鲁棒性提升主要源于混合精度训练带来的模型多样性，而非单纯的集成平均效应。