[论文解读] Effects of Image Degradations to CNN-based Image Classification

Yanting Pei, Yaping Huang+4 more|arXiv (Cornell University)|Oct 12, 2018

Image Enhancement Techniques参考文献 26被引用 17

一句话总结

本文通过实验研究了四种常见图像退化——雾霾、水下条件、运动模糊和鱼眼畸变——对基于CNN的图像分类的影响。利用物理建模的合成数据集和真实雾霾图像，研究发现分类准确率在退化程度增加时显著下降，尤其是在训练和测试数据退化水平不匹配时；同时，使用去雾或去模糊算法进行预处理仅能带来相对于直接在退化数据上训练的微小性能提升。

ABSTRACT

Just like many other topics in computer vision, image classification has achieved significant progress recently by using deep-learning neural networks, especially the Convolutional Neural Networks (CNN). Most of the existing works are focused on classifying very clear natural images, evidenced by the widely used image databases such as Caltech-256, PASCAL VOCs and ImageNet. However, in many real applications, the acquired images may contain certain degradations that lead to various kinds of blurring, noise, and distortions. One important and interesting problem is the effect of such degradations to the performance of CNN-based image classification. More specifically, we wonder whether image-classification performance drops with each kind of degradation, whether this drop can be avoided by including degraded images into training, and whether existing computer vision algorithms that attempt to remove such degradations can help improve the image-classification performance. In this paper, we empirically study this problem for four kinds of degraded images -- hazy images, underwater images, motion-blurred images and fish-eye images. For this study, we synthesize a large number of such degraded images by applying respective physical models to the clear natural images and collect a new hazy image dataset from the Internet. We expect this work can draw more interests from the community to study the classification of degraded images.

研究动机与目标

• 研究常见图像退化对基于CNN的图像分类模型性能的影响。
• 评估在退化图像上进行训练是否能提高在退化图像上测试时的分类准确率，相较于在清晰图像上训练并在退化图像上测试。
• 评估现有的图像恢复算法（如去雾、去模糊）是否能提升在退化输入上的分类性能。
• 为未来在鲁棒图像分类方面的研究提供一个合成与真实退化图像的基准数据集。
• 激励进一步研究鲁棒深度学习模型，以应对真实世界中图像退化下的图像分类问题。

提出的方法

• 使用物理模型对清晰自然图像应用，生成大规模的雾霾、水下、运动模糊和鱼眼图像合成数据集。
• 从互联网收集真实世界的雾霾图像数据集，以补充合成数据。
• 在具有不同退化程度的合成和真实退化图像集上，对CNN模型（AlexNet和VGGNet-16）进行训练和评估。
• 开展跨训练和跨测试实验：在一种退化程度上训练，在另一种退化程度上测试，以评估泛化能力。
• 应用最先进的图像恢复算法（去雾、去模糊、畸变校正）对测试图像进行预处理，以评估其收益。
• 可视化CNN早期层的特征图，分析退化如何影响低级特征学习。

实验结果

研究问题

• RQ1 图像退化（雾霾、模糊、水下、鱼眼）如何影响基于CNN的模型的分类准确率？
• RQ2 与在清晰图像上训练并在类似退化图像上测试相比，在退化图像上训练CNN是否能提升其在类似退化图像上的性能？
• RQ3 与直接推理相比，使用恢复算法（如去雾、去模糊）对退化测试图像进行预处理是否能提高分类准确率？
• RQ4 不同类型的图像退化在鲁棒性方面是否存在显著差异？
• RQ5 CNN早期层中退化特征的损失在多大程度上与性能下降相关？

主要发现

• 随着退化程度的增加，分类准确率显著下降，尤其是在训练数据为清晰而测试数据为退化时。
• 当在相同退化级别上进行训练和测试时，准确率最高（例如，β=2.0时雾霾图像的准确率为77.7%），显著优于在清晰图像上训练并在退化图像上测试的方法。
• 使用恢复算法（如去雾、去模糊）对退化测试图像进行预处理仅能带来微小的准确率提升——例如，对于e=3.0的运动模糊图像，准确率仅从41.8%提升至55.0%，远低于同级别训练的性能。
• 去退化处理无法恢复因退化而丢失的判别性特征，因此无法显著提升分类性能，超越直接在退化数据上训练的模型。
• 早期层激活的可视化显示，退化图像中低级特征（如边缘、纹理）捕捉效果差，这与性能下降密切相关。
• 对于所有退化类型，当训练和测试在具有相同退化水平的图像上进行时，性能最佳，表明域偏移是主要挑战。