[论文解读] DeepCorrect: Correcting DNN models against Image Distortions

Tejas Borkar, Lina J. Karam|arXiv (Cornell University)|May 5, 2017

Advanced Image Processing Techniques被引用 11

一句话总结

DeepCorrect 提出了一种方法，通过识别并校正最易受图像失真（如模糊和噪声）影响的卷积滤波器，来增强深度神经网络（DNN）对图像失真的鲁棒性。该方法在这些滤波器上附加轻量级残差校正单元，相较于微调方法，在参数量显著减少且推理开销极低的情况下实现了更优的性能。

ABSTRACT

In recent years, the widespread use of deep neural networks (DNNs) has facilitated great improvements in performance for computer vision tasks like image classification and object recognition. In most realistic computer vision applications, an input image undergoes some form of image distortion such as blur and additive noise during image acquisition or transmission. Deep networks trained on pristine images perform poorly when tested on such distortions. In this paper, we evaluate the effect of image distortions like Gaussian blur and additive noise on the activations of pre-trained convolutional filters. We propose a metric to identify the most noise susceptible convolutional filters and rank them in order of the highest gain in classification accuracy upon correction. In our proposed approach called DeepCorrect, we apply small stacks of convolutional layers with residual connections, at the output of these ranked filters and train them to correct the worst distortion affected filter activations, whilst leaving the rest of the pre-trained filter outputs in the network unchanged. Performance results show that applying DeepCorrect models for common vision tasks like image classification (ImageNet), object recognition (Caltech-101, Caltech-256) and scene classification (SUN-397), significantly improves the robustness of DNNs against distorted images and outperforms other alternative approaches..

研究动机与目标

• 探究预训练 DNN 中的所有卷积滤波器是否对高斯模糊和加性白高斯噪声（AWGN）等图像失真具有相同的敏感度。
• 开发一种量化并排序单个卷积滤波器对输入失真敏感度的度量方法。
• 通过轻量级可训练校正单元，仅校正最受影响的滤波器激活，而无需重新训练整个网络。
• 在保持干净图像上高性能的同时，显著提升对失真输入的鲁棒性，尤其是在严重失真条件下。
• 通过使用可分离卷积的秩约束近似方法，降低校正单元的计算成本，实现在接近实时推理下的高效性。

提出的方法

• 评估高斯模糊和 AWGN 对预训练 DNN 滤波器激活的影响，以识别对失真敏感的滤波器。
• 提出一种基于激活方差和失真下分类准确率下降的敏感度度量，用于按脆弱性对滤波器进行排序。
• 设计校正单元为带有残差连接的小型卷积层堆叠，训练其以恢复最高等级滤波器的失真激活。
• 仅将校正单元附加到最敏感的滤波器上，其余预训练网络权重保持冻结，以保留原始特征。
• 使用深度可分离卷积（如 3×1 和 1×3 卷积核）进行秩约束近似，以减少 FLOPs 并保持推理效率。
• 使用目标导向损失函数训练校正单元，以最小化失真输入上的分类误差，同时保持干净图像上的准确率。

实验结果

研究问题

• RQ1 预训练 DNN 中的所有卷积滤波器是否对模糊和噪声等图像失真具有相同的脆弱性？
• RQ2 能否使用可量化的度量方法准确测量并排序单个滤波器对输入失真的敏感度？
• RQ3 仅校正最易受失真影响的滤波器输出是否能在不重新训练整个网络的情况下带来显著性能提升？
• RQ4 具有秩约束卷积的轻量级校正单元是否能在保持高推理效率的同时提升鲁棒性？
• RQ5 与微调和稳定性训练相比，所提方法在准确率、参数效率和推理成本方面表现如何？

主要发现

• 在 ImageNet 上，DeepCorrect 在高斯模糊上优于微调 3.2%，在 AWGN 上优于 1.47%，在运动模糊上优于 4.86%，在散焦模糊上优于 6.95%，在相机抖动模糊上优于 5%。
• Deepcorr-b 变体的参数量仅为微调的一半，但在高斯模糊上仍优于微调 3.95%，在相机抖动模糊上优于 5.36%。
• 秩约束的 Deepcorr-rc 模型在性能上优于微调和稳定性训练，同时仅使用 5.1×10⁷ FLOPs，与基线 ResNet18 相当。
• Deepcorr-rc 的推理开销与原始 ResNet18 几乎相同，相比用低秩层替换整个网络，FLOPs 减少了 30%。
• 在受失真影响的滤波器上训练的校正单元显著提升了鲁棒性，且未降低干净图像上的性能。
• 该方法可泛化至分类以外的任务，显示出在目标检测和语义分割中的潜力，并适用于其他噪声类型（如对抗性噪声）。