[论文解读] PDA: Progressive Data Augmentation for General Robustness of Deep Neural Networks

Hang Yu, Aishan Liu+6 more|arXiv (Cornell University)|Sep 11, 2019

Adversarial Robustness in Machine Learning参考文献 29被引用 9

一句话总结

本文提出渐进式数据增强（PDA），一种通过在训练过程中逐步注入多样化对抗性噪声来提升深度神经网络鲁棒性的方法。PDA在对抗性鲁棒性和噪声泛化能力方面均达到当前最优性能，在CIFAR-10-C和ImageNet-C上相比先前方法，干净准确率提升约3%，平均噪声错误率（mCE）降低约10%。

ABSTRACT

Adversarial images are designed to mislead deep neural networks (DNNs), attracting great attention in recent years. Although several defense strategies achieved encouraging robustness against adversarial samples, most of them fail to improve the robustness on common corruptions such as noise, blur, and weather/digital effects (e.g. frost, pixelate). To address this problem, we propose a simple yet effective method, named Progressive Data Augmentation (PDA), which enables general robustness of DNNs by progressively injecting diverse adversarial noises during training. In other words, DNNs trained with PDA are able to obtain more robustness against both adversarial attacks as well as common corruptions than the recent state-of-the-art methods. We also find that PDA is more efficient than prior arts and able to prevent accuracy drop on clean samples without being attacked. Furthermore, we theoretically show that PDA can control the perturbation bound and guarantee better generalization ability than existing work. Extensive experiments on many benchmarks such as CIFAR-10, SVHN, and ImageNet demonstrate that PDA significantly outperforms its counterparts in various experimental setups.

研究动机与目标

• 针对同时防御对抗性攻击和常见图像噪声（如模糊、噪声、天气影响等）缺乏统一框架的问题。
• 克服现有防御方法在提升鲁棒性时以牺牲干净准确率为代价，或无法在不同噪声类型间良好泛化的局限性。
• 开发一种训练策略，在保持高干净准确率的同时提升对多样化扰动的鲁棒性。
• 理论分析表明，PDA可控制扰动边界，并相比现有数据增强方法提升泛化能力。

提出的方法

• 通过迭代扰动步骤，逐步生成并注入多样化的对抗性噪声。
• 采用渐进策略，从多个方向聚合并注入噪声样本，提升数据多样性。
• 将对抗性噪声注入整合到标准对抗训练中，避免梯度遮蔽问题。
• 采用基于频率的分析方法，评估不同空间频率下的鲁棒性。
• 采用混合测试协议，结合干净样本、对抗样本和噪声样本，公平评估泛化能力。
• 可视化梯度，评估其与人类视觉感知的一致性，表明鲁棒性得到改善。

实验结果

研究问题

• RQ1 统一的数据增强策略是否能同时提升对对抗性攻击和常见图像噪声的鲁棒性？
• RQ2 在训练过程中渐进式注入噪声是否能在不降低干净准确率的前提下提升模型泛化能力？
• RQ3 PDA在多种噪声类型和对抗性攻击下的鲁棒性与PGD和GDA相比如何？
• RQ4 PDA在多大程度上提升了模型梯度与人类视觉感知的一致性？
• RQ5 在鲁棒性、准确率和计算成本之间平衡时，最优的渐进迭代次数是多少？

主要发现

• 在CIFAR-10上，PDA相比PGD实现约3%更高的干净准确率，同时保持相当的对抗性鲁棒性。
• 在CIFAR-10-C和ImageNet-C上，PDA相比GDA将平均噪声错误率（mCE）降低约10%。
• 在结合干净样本、对抗样本和噪声样本的混合测试场景中，PDA在CIFAR-10上达到80.48%的准确率，优于PGD和GDA。
• PDA训练的模型展现出最佳的梯度与人类视觉感知对齐，表明感知鲁棒性得到提升。
• 最优渐进迭代次数为k=3，可在鲁棒性、准确率和训练效率之间实现良好平衡。
• 理论分析证实，PDA可控制扰动边界，并相比现有方法提升泛化能力。