[论文解读] Improving the Robustness of Deep Neural Networks via Stability Training

Stephan Zheng, Yang Song+2 more|arXiv (Cornell University)|Apr 15, 2016

Adversarial Robustness in Machine Learning参考文献 10被引用 91

一句话总结

本文提出稳定性训练（stability training），一种轻量级方法，通过优化输入扰动下的输出一致性，提升深度神经网络对自然输入失真（如JPEG压缩、缩放和裁剪）的鲁棒性。该方法在不牺牲干净数据上准确率的前提下，提升了噪声数据上的性能，实现了在近似重复图像检测、相似图像排序和受污染数据上的分类任务中的最先进结果。

ABSTRACT

In this paper we address the issue of output instability of deep neural networks: small perturbations in the visual input can significantly distort the feature embeddings and output of a neural network. Such instability affects many deep architectures with state-of-the-art performance on a wide range of computer vision tasks. We present a general stability training method to stabilize deep networks against small input distortions that result from various types of common image processing, such as compression, rescaling, and cropping. We validate our method by stabilizing the state-of-the-art Inception architecture against these types of distortions. In addition, we demonstrate that our stabilized model gives robust state-of-the-art performance on large-scale near-duplicate detection, similar-image ranking, and classification on noisy datasets.

研究动机与目标

• 解决深度神经网络在常见自然图像失真（如JPEG压缩、缩放和裁剪）下输出不稳定的问题。
• 克服当前最先进模型在视觉上无法区分的图像上产生显著不同特征嵌入的局限性。
• 开发一种通用的训练技术，提升模型鲁棒性，同时不损害其在干净数据上的性能。
• 在涉及噪声或受污染输入的真实世界视觉任务中（如近似重复图像检测和受污染数据集上的分类）展示性能提升。

提出的方法

• 引入一种稳定性训练目标，促使模型在小幅度输入扰动下保持输出一致。
• 在由原始输入的失真副本（包括JPEG压缩、裁剪和缩放版本）组成的增强数据上训练模型。
• 将标准交叉熵损失与一个正则化项结合，惩罚输入扰动下输出的大幅变化。
• 使用噪声参数σ控制训练期间扰动的幅度，以模拟真实的图像失真。
• 在反向传播过程中应用稳定性目标，联合优化准确率与输出稳定性。
• 使用超参数α（正则化强度）和σ（噪声尺度）调节稳定性与原始任务性能之间的权衡。

实验结果

研究问题

• RQ1 能否在不牺牲干净数据性能的前提下，使深度神经网络对JPEG压缩和缩放等自然图像失真更具鲁棒性？
• RQ2 与标准训练相比，稳定性训练在多大程度上降低了近似重复图像的特征嵌入方差？
• RQ3 稳定性训练如何影响模型在受污染或噪声测试集上的性能，特别是在图像分类和相似图像排序等任务中？
• RQ4 经过稳定化的模型是否在未经筛选、经过有损图像处理的真实世界视觉数据集上泛化能力更强？
• RQ5 稳定性正则化与原始任务准确率之间的最优权衡是什么？超参数α和σ如何影响这一权衡？

主要发现

• 稳定性训练显著提升了受污染图像数据上的排序性能：在JPEG压缩图像上，Deep Ranking模型在top-30的排序得分达到7,360（基线为7,286），且在所有失真类型下均表现出一致的提升。
• 在ImageNet验证集上，JPEG质量为50时，稳定化的Inception模型达到92.7%的top-5准确率（基线为92.4%），以及75.7%的top-1准确率（基线为75.1%），在受污染条件下提升了0.6%。
• 在高失真水平下（如JPEG质量为10），稳定化模型在top-1和top-5准确率上比基线高出5–6个百分点，表现出强大的鲁棒性。
• 稳定化模型在干净ImageNet数据上保持了最先进性能（top-1: 77.9% vs. 77.8%的基线），差异在统计误差范围内，确认了在干净数据上无性能下降。
• 该方法在多个任务中均有效：在受污染数据上的近似重复图像检测和相似图像排序任务中，稳定化模型优于基线，具有更高的排序得分和更一致的特征嵌入。
• 在合适的超参数下，鲁棒性得以提升：使用α=0.01和σ=0.04时，稳定化模型在JPEG质量低于80%时即开始超越基线，显示出在失真程度增加时的强大泛化能力。