[论文解读] Data Quality Matters For Adversarial Training: An Empirical Study

Chengyu Dong, Liyuan Liu+1 more|arXiv (Cornell University)|Feb 15, 2021

Adversarial Robustness in Machine Learning参考文献 97被引用 4

一句话总结

本文表明，训练集中低质量数据是对抗训练中关键挑战的根本原因——包括鲁棒过拟合、鲁棒性高估以及鲁棒性-准确率权衡。通过在对抗训练过程中测量学习稳定性来衡量数据质量，作者发现移除低质量样本可显著减少这些问题，从而实现更可靠的鲁棒性，且准确率下降最小。

ABSTRACT

Multiple intriguing problems are hovering in adversarial training, including robust overfitting, robustness overestimation, and robustness-accuracy trade-off. These problems pose great challenges to both reliable evaluation and practical deployment. Here, we empirically show that these problems share one common cause -- low-quality samples in the dataset. Specifically, we first propose a strategy to measure the data quality based on the learning behaviors of the data during adversarial training and find that low-quality data may not be useful and even detrimental to the adversarial robustness. We then design controlled experiments to investigate the interconnections between data quality and problems in adversarial training. We find that when low-quality data is removed, robust overfitting and robustness overestimation can be largely alleviated; and robustness-accuracy trade-off becomes less significant. These observations not only verify our intuition about data quality but may also open new opportunities to advance adversarial training.

研究动机与目标

• 探究数据质量在对抗训练中的作用，特别是其对鲁棒过拟合、鲁棒性高估以及鲁棒性-准确率权衡的影响。
• 提出一种基于对抗训练过程中学习稳定性的数据质量度量策略。
• 通过实证方法证明，低质量数据会损害对抗鲁棒性并扭曲评估指标。
• 表明高质量数据可实现鲁棒性-准确率权衡最小化的对抗训练，并减少过拟合现象。
• 提供一种全面的数据中心化对抗训练问题分析，与以往聚焦于模型架构或优化方法的研究形成区分。

提出的方法

• 提出一种基于示例在对抗训练过程中稳定性的数据质量度量——学习不稳定的样本表明其为低质量数据。
• 利用所提度量方法，将数据集（CIFAR-10、CIFAR-100、Tiny-ImageNet）划分为高质量与低质量子集，确保类别平衡且子集大小相等。
• 通过PGD和TRADES方法，结合ResNet与Wide ResNet架构，在高质量与低质量子集上进行受控实验，比较对抗训练效果。
• 采用针对性攻击进行微调，以评估特定类别上的鲁棒性损失与可识别性退化。
• 通过PGD-10与Auto Attack评估之间的差距来测量鲁棒性高估，分析竞争类别与低质量样本的作用。
• 分析对抗攻击中内部最大化过程，解释为何低质量数据会降低对抗扰动的有效性。

实验结果

研究问题

• RQ1 以学习稳定性衡量的数据质量，如何影响对抗鲁棒性与训练动态？
• RQ2 低质量数据在多大程度上导致对抗训练中的鲁棒过拟合？
• RQ3 低质量数据是否会导致鲁棒性高估？若会，其发生条件是什么？
• RQ4 数据质量如何影响对抗训练中的鲁棒性-准确率权衡？
• RQ5 为何低质量数据会通过特征模糊性与竞争类别削弱对抗鲁棒性？其作用机制是什么？

主要发现

• 通过对抗训练中学习不稳定性识别出的低质量数据，对对抗鲁棒性具有损害作用，甚至可能产生有害影响。
• 在低质量数据上进行对抗训练会导致显著的鲁棒过拟合，即模型在不同类别间难以实现稳健泛化。
• 当将来自两个‘竞争’类别（如飞机与船）的低质量样本加入高质量子集时，鲁棒性高估显著增加，高估差距明显上升。
• 仅使用高质量数据时，鲁棒性-准确率权衡极小，仅在训练后期才可察觉；而使用低质量数据时，该权衡则表现得极为明显。
• 在低质量数据上进行微调会导致目标类别鲁棒准确率显著下降，表明鲁棒可识别性丧失；而在高质量数据上微调则能保持性能。
• 鲁棒性高估的机制与低质量数据中的模糊特征有关，这些特征使不同类别间的特征难以区分，从而削弱攻击者生成有效扰动的能力。