[论文解读] Deep Optimization model for Screen Content Image Quality Assessment using Neural Networks

Xuhao Jiang, Liquan Shen+3 more|arXiv (Cornell University)|Mar 2, 2019

Image and Video Quality Assessment参考文献 42被引用 11

一句话总结

该论文提出了一种深度优化模型 QODCNN，用于基于卷积神经网络的全参考（FR）和无参考（NR）屏幕内容图像（SCI）质量评估。通过整合自适应质量池化、基于感知相关性的数据选择以及抗噪特征融合，该模型在基准数据集上实现了最先进性能，在准确性和泛化能力方面均优于现有的 FR 和 NR 方法。

ABSTRACT

In this paper, we propose a novel quadratic optimized model based on the deep convolutional neural network (QODCNN) for full-reference and no-reference screen content image (SCI) quality assessment. Unlike traditional CNN methods taking all image patches as training data and using average quality pooling, our model is optimized to obtain a more effective model including three steps. In the first step, an end-to-end deep CNN is trained to preliminarily predict the image visual quality, and batch normalized (BN) layers and l2 regularization are employed to improve the speed and performance of network fitting. For second step, the pretrained model is fine-tuned to achieve better performance under analysis of the raw training data. An adaptive weighting method is proposed in the third step to fuse local quality inspired by the perceptual property of the human visual system (HVS) that the HVS is sensitive to image patches containing texture and edge information. The novelty of our algorithm can be concluded as follows: 1) with the consideration of correlation between local quality and subjective differential mean opinion score (DMOS), the Euclidean distance is utilized to measure effectiveness of image patches, and the pretrained model is fine-tuned with more effective training data; 2) an adaptive pooling approach is employed to fuse patch quality of textual and pictorial regions, whose feature only extracted from distorted images owns strong noise robust and effects on both FR and NR IQA; 3) Considering the characteristics of SCIs, a deep and valid network architecture is designed for both NR and FR visual quality evaluation of SCIs. Experimental results verify that our model outperforms both current no-reference and full-reference image quality assessment methods on the benchmark screen content image quality assessment database (SIQAD).

研究动机与目标

• 为解决现有图像质量评估（IQA）方法在评估屏幕内容图像（SCIs）时的局限性，SCIs 在结构和内容上与自然图像存在显著差异。
• 开发一种基于深度学习的模型，有效捕捉 SCIs 中的感知质量差异，特别是在纹理丰富和边缘密集区域。
• 通过优化训练和特征融合策略，提升全参考和无参考设置下的泛化能力和鲁棒性。
• 通过关注人眼视觉系统（HVS）对纹理和边缘敏感的高影响图像区域，提升模型性能。
• 通过批量归一化和 L2 正则化减少过拟合，提升训练效率。

提出的方法

• 采用批量归一化（BN）和 L2 正则化端到端训练深度 CNN，以加速收敛并提升拟合性能。
• 采用两阶段训练流程：首先使用一种基于数据选择的方法（TMED）对预训练模型进行微调，优先选择与主观 DMOS 分数相关性更高的训练样本。
• 引入一种自适应加权策略（WLQVLSD），基于抗噪指数（VLSD）融合局部质量预测，突出显示具有纹理和边缘内容的图像块。
• 模型使用拼接层处理全参考和无参考输入，实现两种设置下的统一架构。
• 通过裁剪进行数据增强，以提升训练数据多样性并减少过拟合。
• 最终质量分数通过使用基于 VLSD 推导出的自适应权重对局部质量预测进行池化获得，从而增强感知相关性。

实验结果

研究问题

• RQ1 如何优化深度 CNN 模型，使其在预测屏幕内容图像（SCIs）视觉质量方面优于传统 IQA 方法？
• RQ2 基于感知相关性（DMOS 相关性）选择训练数据对全参考和无参考设置下模型性能的影响如何？
• RQ3 与平均池化相比，使用抗噪指数（VLSD）的自适应池化在 SCI IQA 中如何提升质量预测性能？
• RQ4 所提出的优化方法（TMED 和 WLQVLSD）在不同数据库上对泛化能力和鲁棒性的提升程度如何？
• RQ5 该模型是否能在全参考和无参考场景下均实现卓越性能，同时在未见数据上保持强泛化能力？

主要发现

• QODCNN-NR 模型在性能上显著优于基于 CNN 的无参考模型 PICNN，展现出更强的泛化能力。
• 在 SIQAD 基准测试中，所提出的全参考和无参考模型优于 PSNR、SSIM、GMSD、VSI 和 PICNN，全参考模型性能接近专用的 ESIM 指标。
• 当微调阶段使用 70% 的训练数据时，模型达到最优性能，表明数据多样性与模型泛化能力之间达到良好平衡。
• 采用 TMED（训练数据选择）和 WLQVLSD（自适应池化）带来了全参考和无参考模型的一致性能提升，其中无参考模型因初始准确率更高而提升更显著。
• 在 SCID 数据库上的跨库评估验证了模型强大的泛化能力，证实了所提优化方法的有效性。
• 批量归一化和 L2 正则化的集成有效减少了过拟合，提升了模型在未见 SCI 数据集上的鲁棒性和泛化能力。