[论文解读] Active Fine-Tuning from gMAD Examples Improves Blind Image Quality Assessment

Zhihua Wang, Kede Ma|arXiv (Cornell University)|Mar 8, 2020

Image and Video Quality Assessment参考文献 59被引用 5

一句话总结

本文提出了一种主动微调框架，通过迭代选择并标注由群体最大差异性（gMAD）竞赛识别出的具有挑战性的图像对，从而提升盲图像质量评估（BIQA）的性能。通过在人类标注的gMAD示例上微调基于深度神经网络（DNN）的BIQA模型，该方法在不降低标准基准测试性能的前提下，增强了模型的鲁棒性与泛化能力。

ABSTRACT

The research in image quality assessment (IQA) has a long history, and significant progress has been made by leveraging recent advances in deep neural networks (DNNs). Despite high correlation numbers on existing IQA datasets, DNN-based models may be easily falsified in the group maximum differentiation (gMAD) competition with strong counterexamples being identified. Here we show that gMAD examples can be used to improve blind IQA (BIQA) methods. Specifically, we first pre-train a DNN-based BIQA model using multiple noisy annotators, and fine-tune it on multiple subject-rated databases of synthetically distorted images, resulting in a top-performing baseline model. We then seek pairs of images by comparing the baseline model with a set of full-reference IQA methods in gMAD. The resulting gMAD examples are most likely to reveal the relative weaknesses of the baseline, and suggest potential ways for refinement. We query ground truth quality annotations for the selected images in a well controlled laboratory environment, and further fine-tune the baseline on the combination of human-rated images from gMAD and existing databases. This process may be iterated, enabling active and progressive fine-tuning from gMAD examples for BIQA. We demonstrate the feasibility of our active learning scheme on a large-scale unlabeled image set, and show that the fine-tuned method achieves improved generalizability in gMAD, without destroying performance on previously trained databases.

研究动机与目标

• 为解决尽管在标准数据集上相关性较高，基于深度学习的BIQA模型仍缺乏鲁棒性的问题。
• 通过利用gMAD竞赛系统性地暴露感知质量预测中的失败模式，识别模型弱点。
• 通过使用人类标注的gMAD示例进行主动学习，提升BIQA的泛化能力。
• 在保持对现有合成失真数据库强性能的同时，增强对对抗性图像对的抵抗能力。
• 在仅使用少量人工标注数据的情况下，实现对真实世界失真的有效迁移。

提出的方法

• 使用多个有噪声的标注者对模型进行预训练，以处理标注不确定性。
• 在四个合成IQ A数据库上微调基线模型，以建立强大的初始性能。
• 利用gMAD竞赛识别出最能暴露基线模型与全参考IQA方法之间预测差异的图像对。
• 在受控的实验室环境中，选择最具区分性的gMAD图像对进行人工标注。
• 通过在gMAD标注图像与现有数据库的组合上重新训练模型，执行迭代主动微调。
• 应用主动学习循环，逐步提升模型处理具有挑战性失真的能力。

实验结果

研究问题

• RQ1 gMAD识别出的图像对是否能有效揭示基于DNN的BIQA模型的盲区？
• RQ2 在人类标注的gMAD示例上进行主动微调，是否能提升BIQA模型的鲁棒性与泛化能力？
• RQ3 所提出的方法是否能在保持标准IQA数据库性能的同时，提升对对抗性图像对的抵抗能力？
• RQ4 基于gMAD示例的主动微调在多大程度上增强了BIQA模型在合成到真实场景之间的泛化能力？
• RQ5 模型在多次主动学习轮次中的性能如何演变？

主要发现

• 首次主动微调后，D-test与P-test在Waterloo Exploration Database上的得分有所提升，其中D-test从0.881提升至0.890。
• 第二次微调后，模型在D-test上出现轻微性能下降（0.881），表明可能存在对gMAD示例的过拟合。
• 模型在合成到真实场景的泛化能力方面表现提升，SPAQ数据集上的SRCC从基线的0.575提升至两次微调后的0.633。
• 在KonIQ-10k数据集上，SRCC从基线的0.403提升至0.533（两次微调后），表明在真实世界失真上的性能显著增强。
• 视觉分析显示，模型逐渐适应gMAD示例，对以往误分类的图像类型（如变暗和纹理丰富的图像）的预测能力得到改善。
• 该方法成功增强了模型的判别能力，体现在对感知上相似图像的更好区分能力，同时在标准数据库上保持了优异的性能。