[论文解读] BulletTrain: Accelerating Robust Neural Network Training via Boundary Example Mining

Weizhe Hua, Yichi Zhang+3 more|arXiv (Cornell University)|Sep 29, 2021

Adversarial Robustness in Machine Learning参考文献 22被引用 6

一句话总结

BulletTrain 通过动态识别并集中计算资源于边界样本（即最接近决策边界的样本），加速了鲁棒神经网络的训练，采用基于间隔的置信度评分。在 CIFAR-10、CIFAR-10-C 和 CIFAR-100-C 基准上，对 TRADES、MART 和 AugMix 方法实现了 1.7× 到 2.2× 的加速，且未牺牲干净准确率或鲁棒准确率。

ABSTRACT

Neural network robustness has become a central topic in machine learning in recent years. Most training algorithms that improve the model's robustness to adversarial and common corruptions also introduce a large computational overhead, requiring as many as ten times the number of forward and backward passes in order to converge. To combat this inefficiency, we propose BulletTrain $-$ a boundary example mining technique to drastically reduce the computational cost of robust training. Our key observation is that only a small fraction of examples are beneficial for improving robustness. BulletTrain dynamically predicts these important examples and optimizes robust training algorithms to focus on the important examples. We apply our technique to several existing robust training algorithms and achieve a 2.1$ imes$ speed-up for TRADES and MART on CIFAR-10 and a 1.7$ imes$ speed-up for AugMix on CIFAR-10-C and CIFAR-100-C without any reduction in clean and robust accuracy.

研究动机与目标

• 解决鲁棒神经网络训练带来的高计算成本问题，该问题可能导致训练时间增加多达十倍，原因在于大量噪声生成。
• 克服现有鲁棒训练方法中对所有训练样本采用统一计算效率低下的问题。
• 开发一种动态自适应方法，将更多计算资源分配给最具信息量的样本——即靠近决策边界的样本，同时减少对不相关样本的计算。
• 在大幅缩短训练时间的同时，保持或提升模型的鲁棒性和干净准确率。
• 将该方法推广至对抗性扰动和常见噪声鲁棒性两种设置。

提出的方法

• 将边界样本定义为当前决策边界附近间隔较小的干净样本，因为这些样本最可能从噪声增强中受益。
• 使用基于间隔的评分函数，根据模型当前的 logits 和预测置信度，预测每个样本在提升鲁棒性方面的价值。
• 仅对每个小批量中最重要的前 $N_R$ 个样本动态分配计算资源用于噪声生成（如对抗性或数据增强）。
• 引入一个阈值 $\gamma$，以控制选择用于噪声生成的样本比例，从而在速度与鲁棒性之间实现权衡。
• 通过修改数据采样和损失计算流程，将该方法集成到现有的鲁棒训练框架（如 TRADES、MART 和 AugMix）中。
• 对所有样本保持完整的前向和反向传播，但根据预测的重要程度，减少非边界样本的噪声生成步骤。

实验结果

研究问题

• RQ1 将计算资源集中于一小部分边界样本，是否能显著缩短训练时间，同时不降低模型的鲁棒性？
• RQ2 基于间隔重要性的动态边界样本选择方法，在速度-准确率权衡方面，与均匀采样或启发式采样相比表现如何？
• RQ3 边界样本挖掘在多大程度上能加速不同鲁棒性目标下的训练——包括对抗性扰动和常见噪声？
• RQ4 该方法在不同超参数（如选择样本数 $N_R$ 和间隔阈值 $\gamma$）下的性能稳定性如何？
• RQ5 该方法能否在不修改网络架构的前提下，推广至现有的最先进鲁棒训练算法？

主要发现

• 在 CIFAR-10 上，BulletTrain 对 TRADES 和 MART 实现了 2.2× 的加速，且干净准确率和鲁棒准确率均无下降。
• 在 CIFAR-10-C 和 CIFAR-100-C 上，BulletTrain 对 AugMix 训练实现了 1.7× 的加速，同时保持了干净准确率和鲁棒准确率。
• 该方法在不同 $\gamma$ 值下表现稳定，当 $\gamma \in [0.65, 0.9]$ 时，鲁棒准确率保持一致。
• $N_R$ 的变化对干净准确率影响较小，且该方法的加速效果优于 FAST，同时理论与实际运行时间表现相当。
• 理论加速比与 GPU 上的实际运行时间加速比高度吻合，表明其具有强大的实际效率。
• 与以往的重要性采样方法不同，BulletTrain 使用模型的最新得分进行动态选择，避免了过时的损失估计，提升了选择准确性。