[论文解读] DeepFL-IQA: Weak Supervision for Deep IQA Feature Learning

Hanhe Lin, Vlad Hosu+1 more|arXiv (Cornell University)|Jan 20, 2020

Advanced Image Processing Techniques参考文献 60被引用 31

一句话总结

DeepFL-IQA 提出使用大型合成数据集（KADIS-700k）进行弱监督深度 IQA 特征学习以训练多任务 FR-IQA 分数预测，随后在小型主观 IQA 数据库上使用基于 MLSP 的 NR-IQA 回归。

ABSTRACT

Multi-level deep-features have been driving state-of-the-art methods for aesthetics and image quality assessment (IQA). However, most IQA benchmarks are comprised of artificially distorted images, for which features derived from ImageNet under-perform. We propose a new IQA dataset and a weakly supervised feature learning approach to train features more suitable for IQA of artificially distorted images. The dataset, KADIS-700k, is far more extensive than similar works, consisting of 140,000 pristine images, 25 distortions types, totaling 700k distorted versions. Our weakly supervised feature learning is designed as a multi-task learning type training, using eleven existing full-reference IQA metrics as proxies for differential mean opinion scores. We also introduce a benchmark database, KADID-10k, of artificially degraded images, each subjectively annotated by 30 crowd workers. We make use of our derived image feature vectors for (no-reference) image quality assessment by training and testing a shallow regression network on this database and five other benchmark IQA databases. Our method, termed DeepFL-IQA, performs better than other feature-based no-reference IQA methods and also better than all tested full-reference IQA methods on KADID-10k. For the other five benchmark IQA databases, DeepFL-IQA matches the performance of the best existing end-to-end deep learning-based methods on average.

研究动机与目标

• 引入拥有 140k pristine 和 700k distorted 图像的规模化合成数据集 KADIS-700k，以及 11 个 FR-IQA 分数作为代理。
• 创建 KADID-10k，包含 81 个 pristine 图像和 10,125 个 distorted 图像，并具有 crowdsourced MOS/DMOS。
• 开发一个弱监督的深度 IQA 特征学习流程（DeepFL-IQA），利用多任务学习来预测 FR-IQA 分数。
• 从微调后的 CNN 提取 MLSP 特征，并在基准数据库上训练一个小型回归网络用于 NR-IQA。

提出的方法

• 在 KADIS-700k 上训练 InceptionResNetV2 主干，以通过多任务头预测 11 个 FR-IQA 分数。
• 在 MTL 过程中使用直方图均衡化以平衡跨任务的 FR-IQA 分数分布。
• 从微调后的网络中提取多层级空间聚合（MLSP）特征。
• 在 MLSP 特征上训练一个浅层回归网络，将其映射到 IQA 数据库上的主观质量分数。
• 应用一种新的回归架构，包含四个全连接层（2,048 → 1,024 → 256 → 1）并带有 dropout。
• 以在 KADID-10k 和五个基准数据库上与现有 FR-IQA 与 NR-IQA 方法进行对比来将该方法落地。

实验结果

研究问题

• RQ1 弱监督学习是否利用 FR-IQA 代理能提升对人工失真图像的 NR-IQA 表现？
• RQ2 从微调的 CNN 获得的 MLSP 特征是否在多个基准数据库上提供稳健的 NR-IQA 预测？
• RQ3 FR-IQA 分数分布的直方图均衡化是否有益于多任务训练的稳定性和性能？
• RQ4 相比于 KADID-10k 和其他 IQA 数据集，DeepFL-IQA 与最先进的 FR-IQA 和 NR-IQA 方法相比如何？

主要发现

• DeepFL-IQA 在 KADID-10k 上优于其他基于特征的无参考 IQA 方法。
• 在五个基准 IQA 数据库上，DeepFL-IQA 在平均水平上达到最好的端到端深度学习方法的表现。
• KADIS-700k 数据集提供了一个可扩展的平台，包含 140k pristine 和 700k distorted 图像以及 11 个 FR-IQA 分数。
• 基于 MLSP 的 NR-IQA 回归使用一个小型回归网络就能实现具有竞争力的性能。
• 使用 HE 标准化的多任务 FR-IQA 监督在训练过程中提升收敛性与平衡性。