[论文解读] Amata: An Annealing Mechanism for Adversarial Training Acceleration

Nanyang Ye, Qianxiao Li+2 more|arXiv (Cornell University)|Dec 15, 2020

Adversarial Robustness in Machine Learning参考文献 37被引用 4

一句话总结

Amata 提出了一种自适应退火机制，可在训练过程中动态减少对抗攻击的迭代次数，显著加速对抗训练，同时保持或提升鲁棒性。该方法将计算时间减少至标准方法的 1/3 至 1/2，并与现有的加速技术（如 YOPO、Free、Fast 和 ATTA）兼容。

ABSTRACT

Despite the empirical success in various domains, it has been revealed that deep neural networks are vulnerable to maliciously perturbed input data that much degrade their performance. This is known as adversarial attacks. To counter adversarial attacks, adversarial training formulated as a form of robust optimization has been demonstrated to be effective. However, conducting adversarial training brings much computational overhead compared with standard training. In order to reduce the computational cost, we propose an annealing mechanism, Amata, to reduce the overhead associated with adversarial training. The proposed Amata is provably convergent, well-motivated from the lens of optimal control theory and can be combined with existing acceleration methods to further enhance performance. It is demonstrated that on standard datasets, Amata can achieve similar or better robustness with around 1/3 to 1/2 the computational time compared with traditional methods. In addition, Amata can be incorporated into other adversarial training acceleration algorithms (e.g. YOPO, Free, Fast, and ATTA), which leads to further reduction in computational time on large-scale problems.

研究动机与目标

• 解决对抗训练计算成本过高的问题，其根源在于反复通过 PGD 求解内层最大化问题。
• 克服在整个训练过程中持续使用完整 PGD 步骤的低效性，尤其是在早期阶段，此时强对抗样本并非至关重要。
• 提出一种理论基础扎实、可证明收敛的机制，以减少对抗训练中的冗余计算。
• 实现与现有对抗训练加速方法的无缝集成，进一步提升性能与效率。
• 为对抗鲁棒性中的自适应训练调度提供控制论基础。

提出的方法

• 引入一种退火调度机制，随着训练进程逐步减少用于内层最大化问题的 PGD 步骤数。
• 将对抗训练建模为最优控制问题，基于庞特里亚金最大值原理推导退火策略，以在鲁棒性与效率之间取得平衡。
• 采用随时间变化的 PGD 攻击步数：训练初期使用较少步数（例如 1–2 步），随着训练推进逐步增加至完整步数（例如 10 步）。
• 通过证明在标准非凸优化假设下该方法具有可证明收敛性，确保收敛性。
• 通过修改其训练调度策略，将 Amata 与现有加速方法（如 YOPO、Free、Fast、ATTA）集成，而无需更改其核心算法。
• 利用损失曲面特性指导退火调度，确保早期训练使用较弱的对抗样本，而后期使用更强的对抗样本。

实验结果

研究问题

• RQ1 在训练初期减少 PGD 步数是否能显著降低计算成本，同时不损害鲁棒性？
• RQ2 是否存在一种基于控制理论的、理论基础扎实的最优方法，用于调度对抗训练中 PGD 步数？
• RQ3 该退火机制能否与现有对抗训练加速方法结合，进一步提升性能？
• RQ4 所提出的退火调度是否在极小-极大优化背景下实现可证明收敛的训练动态？
• RQ5 与固定步数的 PGD 相比，该退火机制在不同数据集和网络架构下，其鲁棒性与训练效率表现如何？

主要发现

• 在 CIFAR-10 和 ImageNet 上，Amata 将对抗训练时间减少约 1/3 至 1/2，相比标准 PGD 方法。
• 在 CIFAR-10 上，Amata+YOPO 在 294 秒内达到 94% 的对抗准确率，训练时间约为 YOPO 的一半，且鲁棒性略有提升。
• 在 ImageNet 上，Amata+Free 将训练时间从 1318 分钟减少至 948 分钟，以达到 30% 的对抗准确率，计算成本节省约 1/3。
• Amata+ATTA 在 1.5 倍速下实现 58% 的 PGD-20 准确率，通过减少早期训练周期的重置频率和步数。
• Amata+Fast 在 CIFAR-10 上以标准 Fast 对抗训练一半的时间达到 72% 的 PGD-20 准确率，得益于更弱的初始化阶段。
• 该方法在所有基准测试中均保持或提升了鲁棒性，表明早期阶段使用较弱攻击已足够实现有效泛化。