[论文解读] An Empirical Evaluation on Robustness and Uncertainty of Regularization Methods

Sanghyuk Chun, Seong Joon Oh+4 more|arXiv (Cornell University)|Mar 9, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用 35

一句话总结

本文通过实证评估了最前沿的正则化技术（如 Mixup、CutMix、Cutout、ShakeDrop、标签平滑）在对抗性和自然扰动鲁棒性及不确定性估计方面的效果，结果表明它们可以作为强大且成本低廉的基线，超过一些专门的鲁棒性方法。

ABSTRACT

Despite apparent human-level performances of deep neural networks (DNN), they behave fundamentally differently from humans. They easily change predictions when small corruptions such as blur and noise are applied on the input (lack of robustness), and they often produce confident predictions on out-of-distribution samples (improper uncertainty measure). While a number of researches have aimed to address those issues, proposed solutions are typically expensive and complicated (e.g. Bayesian inference and adversarial training). Meanwhile, many simple and cheap regularization methods have been developed to enhance the generalization of classifiers. Such regularization methods have largely been overlooked as baselines for addressing the robustness and uncertainty issues, as they are not specifically designed for that. In this paper, we provide extensive empirical evaluations on the robustness and uncertainty estimates of image classifiers (CIFAR-100 and ImageNet) trained with state-of-the-art regularization methods. Furthermore, experimental results show that certain regularization methods can serve as strong baseline methods for robustness and uncertainty estimation of DNNs.

研究动机与目标

• 评估常见正则化技术对对抗性扰动和自然损坏下鲁棒性的影响。
• 评估正则化模型的校准性和异常检测（OOD）性能。
• 将基于正则化的基线与专门为鲁棒性和不确定性设计的方法进行比较。
• 确定在成本最低的前提下能够实现强鲁棒性的正则化组合。
• 强调在鲁棒性研究中将正则化作为基线的意义。

提出的方法

• 在 CIFAR-100 和 ImageNet 数据集上，以 PyramidNet-200 和 ResNet-50 作为基线训练图像分类器。
• 应用正则化技术：Cutout、Mixup、CutMix、ShakeDrop、Label Smoothing 及其组合。
• 评估对 FGSM 对抗攻击、CIFAR-100-C / ImageNet-C 的干扰与遮挡的鲁棒性。
• 通过期望校准误差（ECE）和 OOD 检测误差评估不确定性。
• 与对抗性训练和对抗性对数配对（ALP）进行比较。
• 使用标准带动量的随机梯度下降（批量大小 64，训练 300 轮）和数据增强；在报告中包含标签平滑的结果。
• 使用 OOD 增强（SVHN、GAN）以及 CIFAR-C / ImageNet-C 基准进行不确定性测试。

实验结果

研究问题

• RQ1 简单且众所周知的正则化技术是否在对抗性和非对抗性扰动下都提供稳健的性能？
• RQ2 与专门的鲁棒性方法相比，正则化方法如何影响校准和 OOD 检测？
• RQ3 正则化方法的组合是否能在常见基准上超越针对性鲁棒性方法？
• RQ4 在正则化模型中，标签平滑对鲁棒性和不确定性估计的相对影响是什么？
• RQ5 正则化模型是否能够成为鲁棒性和不确定性研究的有力基线？

主要发现

• 将 Cutout + ShakeDrop + 标签平滑、Mixup + ShakeDrop + 标签平滑、CutMix + ShakeDrop + 标签平滑等组合的正则化模型，在各项指标上提升鲁棒性和不确定性表现。
• 单独的标签平滑通常不会提升分类准确性，但在多种设置中可提升对抗鲁棒性、校准误差和 OOD 检测。
• 某些正则化组合在多项指标上超过了专门方法（如 ALP、OOD 增强），尤其在遮挡与不确定性度量方面。
• Mixup 和 CutMix 通常提升对常见干扰的鲁棒性；Cutout 在遮挡鲁棒性方面表现出色，但可能影响其他扰动。
• 在 ImageNet 上，正则化模型达到竞争性鲁棒性，其中 Mixup + 标签平滑获得较强的 ImageNet-C mCE（69.14%），与风格化 ImageNet 基线相当。
• 总体而言，良好正则化的模型在额外成本极小的情况下提供更强或可比的鲁棒性和不确定性表现，建议在未来工作中作为强有力的基线。