[论文解读] Increasing the robustness of DNNs against image corruptions by playing the Game of Noise

Evgenia Rusak, Lukas Schott+5 more|arXiv (Cornell University)|Jan 16, 2020

Adversarial Robustness in Machine Learning被引用 38

一句话总结

本文提出了一种噪声增强训练策略，显著提升了深度神经网络对图像退化（corruptions）的鲁棒性。通过在训练中加入加性高斯噪声和瑞利噪声（Speckle noise），并进一步应用对抗性噪声正则化，该方法在ImageNet-C和MNIST-C基准测试中达到了当前最优性能，优于以往无需架构修改的防御方法。

ABSTRACT

The human visual system is remarkably robust against a wide range of naturally occurring variations and corruptions like rain or snow. In contrast, the performance of modern image recognition models strongly degrades when evaluated on previously unseen corruptions. Here, we demonstrate that a simple but properly tuned training with additive Gaussian and Speckle noise generalizes surprisingly well to unseen corruptions, easily reaching the previous state of the art on the corruption benchmark ImageNet-C (with ResNet50) and on MNIST-C. We build on top of these strong baseline results and show that an adversarial training of the recognition model against uncorrelated worst-case noise distributions leads to an additional increase in performance. This regularization can be combined with previously proposed defense methods for further improvement.

研究动机与目标

• 解决深度神经网络在面对未见过的图像退化（如雨雪、模糊等）时泛化能力差的问题。
• 探究在训练过程中引入噪声是否可作为一种简单而有效的正则化策略，以提升模型鲁棒性。
• 探索针对最坏情况噪声分布的对抗性训练是否能进一步增强鲁棒性，超越标准噪声增强的效果。
• 评估所提方法与现有防御技术结合的兼容性，以实现性能的进一步提升。

提出的方法

• 在优化过程中对深度神经网络进行加性高斯噪声和瑞利噪声（Speckle noise）的训练，以提升其对未见退化类型的泛化能力。
• 通过优化与输入无关的最坏情况噪声分布以最大化模型损失，实现对抗性训练。
• 采用最小-最大（min-max）公式生成对当前模型最不利的噪声，从而通过对抗性正则化增强鲁棒性。
• 结合噪声增强训练与对抗性训练方法，构建一个强而有效的基准防御方法。
• 将所提方法与现有防御技术结合，评估其协同增益效果。
• 在ImageNet-C和MNIST-C等标准基准测试上评估最终模型在多种退化类型下的鲁棒性表现。

实验结果

研究问题

• RQ1 在训练中使用加性高斯噪声和瑞利噪声是否能显著提升DNN对未见图像退化类型的鲁棒性？
• RQ2 针对最坏情况噪声分布的对抗性训练是否能在标准噪声增强的基础上进一步提升鲁棒性？
• RQ3 所提方法在标准退化基准测试中与以往SOTA防御方法相比表现如何？
• RQ4 所提出的基于噪声的正则化方法是否能与现有防御技术有效结合，实现额外的性能增益？

主要发现

• 所提的噪声增强训练方法在使用ResNet50架构时，于ImageNet-C基准测试中达到了SOTA性能。
• 该方法在MNIST-C基准测试中也取得了SOTA结果，表明其在不同数据集上均具备强大的泛化能力。
• 针对最坏情况噪声分布的对抗性训练，在标准噪声训练基础上带来了额外且可测量的鲁棒性提升。
• 基于噪声的正则化技术与现有防御方法兼容，并能进一步增强其性能，表明存在协同增益效应。
• 该方法仅依赖数据级正则化，无需任何网络架构修改即可实现优异表现。
• 该方法在面对此前未见过的退化类型时表现出强泛化能力，表明通过噪声注入可有效学习到不变性特征。