[论文解读] Deep Neural Networks for Blind Image Quality Assessment: Addressing the Data Challenge

ShahRukh Athar, Zhongling Wang+1 more|arXiv (Cornell University)|Sep 24, 2021

Image and Video Quality Assessment参考文献 120被引用 7

一句话总结

本文介绍了Waterloo Exploration-II数据集，这是迄今为止最大的盲图像质量评估（BIQA）数据库，包含3.57千张原始图像和345万张失真图像。通过一种新颖的合成标注机制，作者训练了EONSS模型——一种基于深度神经网络的简单BIQA模型，在无需微调的情况下，其在九个基准数据集上的预测准确率和推理速度均优于当前最先进方法。

ABSTRACT

The enormous space and diversity of natural images is usually represented by a few small-scale human-rated image quality assessment (IQA) datasets. This casts great challenges to deep neural network (DNN) based blind IQA (BIQA), which requires large-scale training data that is representative of the natural image distribution. It is extremely difficult to create human-rated IQA datasets composed of millions of images due to constraints of subjective testing. While a number of efforts have focused on design innovations to enhance the performance of DNN based BIQA, attempts to address the scarcity of labeled IQA data remain surprisingly missing. To address this data challenge, we construct so far the largest IQA database, namely Waterloo Exploration-II, which contains 3,570 pristine reference and around 3.45 million singly and multiply distorted images. Since subjective testing for such a large dataset is nearly impossible, we develop a novel mechanism that synthetically assigns perceptual quality labels to the distorted images. We construct a DNN-based BIQA model called EONSS, train it on Waterloo Exploration-II, and test it on nine subject-rated IQA datasets, without any retraining or fine-tuning. The results show that with a straightforward DNN architecture, EONSS is able to outperform the very state-of-the-art in BIQA, both in terms of quality prediction performance and execution speed. This study strongly supports the view that the quantity and quality of meaningfully annotated training data, rather than a sophisticated network architecture or training strategy, is the dominating factor that determines the performance of DNN-based BIQA models. (Note: Since this is an ongoing project, the final versions of Waterloo Exploration-II database, quality annotations, and EONSS, will be made publicly available in the future when it culminates.)

研究动机与目标

• 解决基于深度学习的盲图像质量评估（BIQA）中关键的数据稀缺挑战，即大规模、人工评分的数据集难以构建。
• 克服现有BIQA模型依赖小规模、有限主观评分数据集进行训练和评估的局限性。
• 证明在实现高性能深度神经网络（DNN）BIQA时，数据量和质量比模型架构复杂度更为关键。
• 开发一种可扩展的机制，无需人工主观测试即可为数百万张失真图像生成感知上准确的质量标签。
• 通过在大规模、多样化数据集上使用合成标注进行模型训练与评估，建立DNN-BIQA的新基准。

提出的方法

• 构建Watermark Exploration-II数据库，包含3,570张原始图像以及约345万张单重和多重失真图像。
• 开发一种新颖的合成标注机制，利用在小规模主观评分数据集上训练的DNN模型，为失真图像分配感知质量分数。
• 端到端地在完整Watermark Exploration-II数据集上使用合成质量标签训练EONSS模型——一种轻量级DNN架构。
• 应用全参考（FR）融合与排名聚合技术，提升质量预测模型的鲁棒性与泛化能力。
• 在九个独立的、主观评分的IQA数据集上评估EONSS模型，且不进行任何微调或重训练，以检验零样本泛化能力。
• 使用数据库的渐进式训练子集（1%、5%、10%、20%）来实证研究训练数据规模对模型性能的影响。

实验结果

研究问题

• RQ1 大规模、合成标注的图像质量数据集能否显著提升基于DNN的盲图像质量评估模型的性能？
• RQ2 在决定BIQA模型性能方面，训练数据的数量和多样性在多大程度上超过架构复杂度的影响？
• RQ3 通过DNN驱动机制生成的合成质量标签与人工主观评分相比，其准确性如何？
• RQ4 在大规模、多样化数据上训练的简单DNN架构是否能超越在小数据集上训练的复杂、最先进BIQA模型？
• RQ5 DNN-BIQA模型在何种数据规模下会达到性能饱和？

主要发现

• EONSS在九个主观评分的IQA数据集上均达到最先进性能，且在无需任何微调的情况下，其PLCC和SRCC指标全面优于所有先前的BIQA模型。
• 模型性能从1%到20%的Watermark Exploration-II数据集范围内显著提升，超过20%后收益递减，表明在中等数据规模下即出现性能饱和。
• EONSS甚至在盲评估中超越了IWSSIM等顶尖全参考（FR）IQA方法，表明合成数据有潜力弥合与FR方法之间的差距。
• EONSS的成功主要归因于Watermark Exploration-II数据集的规模与多样性及其高质量的合成标注，而非架构复杂度。
• 合成标注机制生成的质量分数与人类感知高度相关，经验证在多种失真类型下与人工评分具有强相关性。
• 结果表明，在基于DNN的BIQA中，数据质量与数量是主导因素，而架构创新仅起次要作用。