[论文解读] Benchmarking Neural Network Robustness to Common Corruptions and Surface Variations

Dan Hendrycks, Thomas G. Dietterich|arXiv (Cornell University)|Jul 4, 2018

Adversarial Robustness in Machine Learning参考文献 55被引用 112

一句话总结

本文提出 ImageNet-C 用于腐败鲁棒性，以及 Icons-50 用于表面变异鲁棒性，基准现代网络并提出超越清洁准确度的鲁棒性提升方法。

ABSTRACT

In this paper we establish rigorous benchmarks for image classifier robustness. Our first benchmark, ImageNet-C, standardizes and expands the corruption robustness topic, while showing which classifiers are preferable in safety-critical applications. Unlike recent robustness research, this benchmark evaluates performance on commonplace corruptions not worst-case adversarial corruptions. We find that there are negligible changes in relative corruption robustness from AlexNet to ResNet classifiers, and we discover ways to enhance corruption robustness. Then we propose a new dataset called Icons-50 which opens research on a new kind of robustness, surface variation robustness. With this dataset we evaluate the frailty of classifiers on new styles of known objects and unexpected instances of known classes. We also demonstrate two methods that improve surface variation robustness. Together our benchmarks may aid future work toward networks that learn fundamental class structure and also robustly generalize.

研究动机与目标

• 为图像分类器对常见腐败与表面变异的鲁棒性定义严格的基准。
• 创建 ImageNet-C，以在 75 种扰动（15 种类型 x 5 个严重程度）上标准化腐败鲁棒性。
• 创建 Icons-50，研究对风格和亚型表面变异的鲁棒性。
• 在这些基准上评估当前架构和提升鲁棒性的方法。
• 提出在不牺牲准确度的前提下提升鲁棒性的方法。

提出的方法

• 引入 ImageNet-C，包含 15 种腐败类型，每种五个严重程度，应用于 ImageNet 验证图像。
• 定义腐败误差和平均腐败误差（mCE），以及用于跨类型可比性的相对腐败误差与相对 mCE。
• 在 ImageNet-C 上评估广泛的架构集合（如 AlexNet、VGG 变体、ResNet、DenseNet、ResNeXt、Multigrid、MSDNet）。
• 尝试鲁棒性提升技术（稳定性训练、去噪、直方图均衡化）并分析其影响。
• 研究多尺度和特征聚合网络（Multigrid、MSDNet、DenseNet、ResNeXt）对腐败鲁棒性的影响。
• 开发 Icons-50 数据集以研究表面变异鲁棒性（风格与亚型鲁棒性），并提出评估协议。
• 通过 Shake-Shake 正则化和多尺度网络来提升对表面变异鲁棒性（Icons-50）。

实验结果

研究问题

• RQ1 常见图像腐败如何影响标准架构的 top-1 准确率？
• RQ2 架构改进是否提升腐败鲁棒性，还是鲁棒性主要与清洁准确度的提升相关？
• RQ3 预处理或训练时的技术是否能显著提高对 75 种 ImageNet-C 腐败的鲁棒性？
• RQ4 多尺度与特征聚合架构对噪声和表面变异鲁棒性的影响是怎样的？
• RQ5 网络对 Icons-50 测试中的表面变异（如不可见的风格和亚型）有多鲁棒？

主要发现

• ImageNet-C 显示各架构在腐败鲁棒性上的改善有限；相对鲁棒性在很大程度上跟随清洁准确度提升。
• Mean Corruption Error (mCE) 随着架构进步而增加，但 Relative mCE 经常仍接近 AlexNet 的水平，表明本质鲁棒性提升有限。
• 直方图均衡化和多尺度/大规模架构在 ImageNet-C 上提供显著的鲁棒性提升且不牺牲清洁准确度。
• 稳定性训练和输入去噪在他们的实验中并未改善 ImageNet-C 的鲁棒性，去噪有时反而降低性能。
• Shake-Shake 正则化和多尺度网络（Multigrid、MSDNet）在 Icons-50 上提升了风格和亚型鲁棒性；更大的特征聚合通常比单纯增加深度更能提高鲁棒性。
• Icons-50 表明当前模型在风格鲁棒性（如未见的图标源）和亚型鲁棒性（保留子类型）方面存在挑战，表明表面变异鲁棒性是与腐败鲁棒性不同的挑战。