[论文解读] An empirical study on the effects of different types of noise in image classification tasks

Gabriel B. Costa, Welinton A. Contato+3 more|arXiv (Cornell University)|Sep 9, 2016

Image Retrieval and Classification Techniques参考文献 19被引用 49

一句话总结

本文通过实验研究了在使用LBP和HOG描述符时，不同类型的噪声（高斯噪声、泊松噪声、斑点噪声）如何降低图像分类性能，并评估了去噪方法在缓解这些影响方面的效果。结果表明，噪声显著降低了F1分数，尤其是在噪声水平较高时；尽管去噪方法在原始噪声数据的基础上提升了性能，但由于纹理和细节的损失，其性能仍无法达到无噪声模型的水平。

ABSTRACT

Image classification is one of the main research problems in computer vision and machine learning. Since in most real-world image classification applications there is no control over how the images are captured, it is necessary to consider the possibility that these images might be affected by noise (e.g. sensor noise in a low-quality surveillance camera). In this paper we analyse the impact of three different types of noise on descriptors extracted by two widely used feature extraction methods (LBP and HOG) and how denoising the images can help to mitigate this problem. We carry out experiments on two different datasets and consider several types of noise, noise levels, and denoising methods. Our results show that noise can hinder classification performance considerably and make classes harder to separate. Although denoising methods were not able to reach the same performance of the noise-free scenario, they improved classification results for noisy data.

研究动机与目标

• 评估在使用LBP和HOG描述符时，不同噪声类型对图像分类性能的降级影响。
• 确定性能下降是源于类别可分性降低，还是模型对噪声输入缺乏鲁棒性。
• 评估去噪技术是否能恢复噪声图像场景下的分类性能。

提出的方法

• 本研究使用两个数据集：Caltech101-600 和 Corel，对图像施加多级高斯噪声、泊松噪声和斑点噪声。
• 使用标准配置（统一模式和基于直方图的编码）从原始图像、噪声图像和去噪图像中提取LBP和HOG描述符。
• 在线性SVM分类器上对所有数据变体（无噪声、有噪声、去噪）进行训练和测试，通过网格搜索调整超参数。
• 采用非局部均值、BM3D和双边滤波对图像进行去噪，以评估其对分类性能的影响。
• 使用F1分数评估性能，并通过热力图可视化不同噪声类型、噪声等级和数据配置下的结果。
• 通过比较在噪声数据上训练的模型与在相同或不同噪声类型下测试的模型，隔离噪声对可分性和鲁棒性的影响。

实验结果

研究问题

• RQ1 当在噪声图像上应用LBP和HOG描述符时，图像分类器的性能是否会下降？
• RQ2 性能下降是由于噪声使类别更难线性可分，还是由于模型对噪声输入缺乏鲁棒性？
• RQ3 去噪方法能否提高噪声图像数据的分类准确率，与无噪声基线相比，其性能恢复程度如何？

主要发现

• 在无噪声图像上训练和测试的分类器取得最高的F1分数，随着噪声水平的增加，性能显著下降。
• 每个热力图的对角线表明，没有任何在噪声数据上训练的模型能超越无噪声基线，表明噪声降低了类别可分性。
• 与直接使用原始噪声图像相比，去噪方法能改善噪声图像上的分类结果，但性能仍无法达到无噪声水平。
• 在去噪图像上训练的模型在噪声数据上测试时表现较差，表明去噪可能去除了具有判别性的纹理特征。
• LBP和HOG描述符对噪声敏感，导致在不同噪声水平下特征表示不一致。
• 无论使用何种描述符或数据集，当训练和测试均在无噪声数据上进行时，F1分数始终达到最优。