[论文解读] KonIQ-10k: Towards an ecologically valid and large-scale IQA database

Hanhe Lin, Vlad Hosu+1 more|arXiv (Cornell University)|Mar 22, 2018

Image and Video Quality Assessment参考文献 12被引用 59

一句话总结

本文介绍 KonIQ-10k，一个大规模、生态有效的图像质量评估数据库，包含 10,073 张图片和 120 万条众包质量分数，旨在提升野外环境中的盲评图像质量评估。

ABSTRACT

The main challenge in applying state-of-the-art deep learning methods to predict image quality in-the-wild is the relatively small size of existing quality scored datasets. The reason for the lack of larger datasets is the massive resources required in generating diverse and publishable content. We present a new systematic and scalable approach to create large-scale, authentic and diverse image datasets for Image Quality Assessment (IQA). We show how we built an IQA database, KonIQ-10k, consisting of 10,073 images, on which we performed very large scale crowdsourcing experiments in order to obtain reliable quality ratings from 1,467 crowd workers (1.2 million ratings). We argue for its ecological validity by analyzing the diversity of the dataset, by comparing it to state-of-the-art IQA databases, and by checking the reliability of our user studies.

研究动机与目标

• 创建一个代表真实世界网络照片的大型、真实的 IQA 数据库。
• 通过从大规模图片集合中进行可扩展采样，确保内容和失真多样性。
• 通过众包获取可靠的主观质量分数，并对其可靠性进行专家评分的对比验证。
• 通过基准测试现有的 NR-IQA 方法并突出数据集规模对模型性能的影响，来演示数据库的价值。

提出的方法

• 使用七个质量指标和一个内容指标再加机器标签，从约 480 万条 YFCC100m 条目中采样 10,073 张图片。
• 通过基于 MILP 的优化和每个指标 200-bin 离散化实现指标间的均匀采样。
• 使用 4096 维 VGG-16 FC7 特征进行深度特征的内容采样以获得多样性。
• 通过 1,467 名工作者进行众包，以获得每张图像 120 次评分，并进行专家级验证。
• 通过测试题、与全局 MOS 的一致性筛选、以及移除低质量或重复数据进行质量控制。
• 在 KonIQ-10k、LIVE In the Wild 和 TID2013 上评估无参考图像质量方法，使用 SROCC 和 PLCC。

实验结果

研究问题

• RQ1 如何构建一个大规模、生态有效的 IQA 数据库，以捕捉真实世界的内容和失真？
• RQ2 哪些采样策略能在规模上确保内容和失真的多样性？
• RQ3 在经过适当筛选后，众包 MOS 是否对高质量的主观分数可靠？
• RQ4 现有的 NR-IQA 方法在生态有效的自然图像数据集上是否相比人工失真数据库表现不同？
• RQ5 数据集规模如何影响盲测 IQA 模型的性能？

主要发现

• KonIQ-10k 包含 10,073 张图片，来自 1,467 名工作者的 120 万条众包评分。
• Crowd MOS 与专家评分在 100 分制上 RMSE 为 11.35，73% 的图片在专家一致的误差范围内。
• 所提出的采样在亮度、色彩丰富度、对比度、锐度和内容分布方面比早期数据库具有更高的多样性。
• NR-IQA 方法在 KonIQ-10k 和 LIVE In the Wild 上的相关性比在 TID2013 上更强，突出数据集规模和自然内容对性能的影响。
• 更大的训练数据提升 IQA 模型性能，从 KonIQ-10k 的 NR-IQA 预测中得到印证。
• NR-IQA 方法性能表显示 KonIQ-10k 在野外数据集上取得的 SROCC/PLCC 高于某些基线。