[论文解读] Image Quality Assessment Guided Deep Neural Networks Training

Zhuo Chen, Weisi Lin+3 more|arXiv (Cornell University)|Aug 13, 2017

Image Enhancement Techniques参考文献 16被引用 10

一句话总结

本文提出一种基于图像质量评估（IQA）的标签平滑方法，以提升深度神经网络对图像失真的鲁棒性。通过在训练中引入失真图像，并利用IQA度量对标签分布进行正则化，该方法增强了模型在多种失真类型和程度下的泛化能力，在高质和低质图像上均实现了更优的准确率。

ABSTRACT

For many computer vision problems, the deep neural networks are trained and validated based on the assumption that the input images are pristine (i.e., artifact-free). However, digital images are subject to a wide range of distortions in real application scenarios, while the practical issues regarding image quality in high level visual information understanding have been largely ignored. In this paper, in view of the fact that most widely deployed deep learning models are susceptible to various image distortions, the distorted images are involved for data augmentation in the deep neural network training process to learn a reliable model for practical applications. In particular, an image quality assessment based label smoothing method, which aims at regularizing the label distribution of training images, is further proposed to tune the objective functions in learning the neural network. Experimental results show that the proposed method is effective in dealing with both low and high quality images in the typical image classification task.

研究动机与目标

• 为解决深度学习模型在真实世界应用中常见失真图像测试时鲁棒性不足的问题。
• 探究图像质量评估（IQA）度量如何用于改进深度神经网络在实际图像理解任务中的训练过程。
• 开发一种基于IQA分数的标签平滑技术，通过正则化训练标签来提升模型在不同图像质量条件下的泛化能力。
• 评估IQA引导训练在多种失真类型（模糊、噪声、JPEG）和质量等级下的有效性。

提出的方法

• 该方法在真实世界图像质量变化的模拟下，使用原始图像与失真图像的混合数据进行深度神经网络训练。
• 提出一种基于IQA的标签平滑技术，在训练过程中对标签分布进行正则化，利用IQA分数调整对训练标签置信度的估计。
• 通过修改交叉熵目标函数，使模型在预测时对质量估计较低的图像施加惩罚，以抑制过自信预测。
• 使用IQA度量（如SSIM、FSIM）为失真图像分配质量分数，从而指导标签平滑过程。
• 在多种失真类型和等级下评估该方法，性能通过CIFAR-10和ImageNet数据集上的Top-1和Top-5准确率进行衡量。
• 与仅在原始数据上训练的基线方法以及在混合数据上训练但未使用标签平滑的方法进行对比，验证了其在鲁棒性和泛化能力上的优势。

实验结果

研究问题

• RQ1 将失真图像引入训练集在低质量输入上的表现如何影响深度神经网络的性能？
• RQ2 基于IQA的标签平滑是否能提升深度神经网络在不同图像质量水平下的泛化能力？
• RQ3 所提出的基于IQA的标签平滑是否能带来更接近人类的不确定性估计，体现在模型置信度分数上？
• RQ4 与标准训练策略相比，该方法在不同失真类型（如模糊、噪声、JPEG）下的表现如何？

主要发现

• 与在原始数据上标准训练相比，所提出的基于IQA的标签平滑方法在原始图像和失真图像上的分类准确率均有显著提升。
• 采用基于IQA的标签平滑训练的模型在高度失真图像（如第3级模糊）上表现出轻微性能下降，但在所有质量等级下均保持稳定可靠的预测结果。
• 该方法生成的置信度分数更加平滑，更接近人类感知的不确定性，随失真程度增加而降低。
• 当在混合数据上训练且包含多种失真类型时，基于IQA的标签平滑方法的优势最为明显，表明其具备更强的泛化能力。
• 与在混合数据上训练但未使用标签平滑的方法相比，IQA-LS方法有效减少了对严重失真样本的过拟合，并提升了在高质量图像上的性能表现。
• 该方法在所有测试的失真类型（模糊、噪声、JPEG）中均表现出一致的性能提升，证明了其广泛适用性。