[论文解读] Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning

Kwan-Yee Lin, Guanxiang Wang|arXiv (Cornell University)|Apr 5, 2018

Image and Video Quality Assessment参考文献 35被引用 34

一句话总结

本文提出 Hallucinated-IQA，一种无参考图像质量评估方法，通过质量感知生成网络从失真输入生成幻觉参考图像，再利用对抗学习和差异图引导回归网络实现精确的质量预测。该方法在多个基准测试中达到最先进性能，显著优于先前方法。

ABSTRACT

No-reference image quality assessment (NR-IQA) is a fundamental yet challenging task in low-level computer vision community. The difficulty is particularly pronounced for the limited information, for which the corresponding reference for comparison is typically absent. Although various feature extraction mechanisms have been leveraged from natural scene statistics to deep neural networks in previous methods, the performance bottleneck still exists. In this work, we propose a hallucination-guided quality regression network to address the issue. We firstly generate a hallucinated reference constrained on the distorted image, to compensate the absence of the true reference. Then, we pair the information of hallucinated reference with the distorted image, and forward them to the regressor to learn the perceptual discrepancy with the guidance of an implicit ranking relationship within the generator, and therefore produce the precise quality prediction. To demonstrate the effectiveness of our approach, comprehensive experiments are evaluated on four popular image quality assessment benchmarks. Our method significantly outperforms all the previous state-of-the-art methods by large margins. The code and model will be publicly available on the project page https://kwanyeelin.github.io/projects/HIQA/HIQA.html.

研究动机与目标

• 为解决无参考图像质量评估（NR-IQA）中缺乏真实参考图像的病态问题。
• 克服因信息有限且缺乏真实参考而导致的 NR-IQA 性能瓶颈。
• 通过生成感知参考图像模拟人类视觉系统行为，量化感知差异。
• 开发一种端到端可训练框架，无需额外标注或人工先验知识。
• 通过利用失真图像与幻觉图像之间的丰富差异信息，提升质量预测精度。

提出的方法

• 质量感知生成网络从失真输入生成高分辨率幻觉参考图像，受约束以保持感知合理性。
• 将幻觉参考图像与原始失真图像配对，计算编码感知差异的差异图。
• 训练判别器（IQA-Discriminator）以区分真实与幻觉图像对，引导生成器生成更逼真的参考图像。
• 引入质量感知感知损失，确保幻觉参考图像与原始图像保持质量相似性。
• 应用多层级语义特征融合，整合生成器与回归网络的特征，以提升表征学习能力。
• 整个框架通过对抗学习与感知损失端到端训练，实现无需外部标注的精确质量回归。

实验结果

研究问题

• RQ1 通过模拟人类视觉对比，幻觉参考图像能否提升无参考图像质量评估性能？
• RQ2 使用专用 IQA 判别器的对抗学习在生成感知合理参考图像方面效果如何？
• RQ3 在失真图像与幻觉图像之间引入差异图在多大程度上提升了质量预测精度？
• RQ4 在无需额外标注或先验知识的情况下，模型能否超越现有最先进方法在 NR-IQA 中的表现？
• RQ5 多层级特征融合在提升质量回归网络鲁棒性与准确性方面起到何种作用？

主要发现

• 在 LIVE 数据库上，Hallucinated-IQA 达到 0.983 的斯皮尔曼等级相关系数（SROCC），显著优于先前最先进方法 RankIQA（0.981）和 PQR（0.965）。
• 在 TID2008 数据集上，该方法实现 SROCC 0.934 和 LCC 0.917，SROCC 相较基线 ResNet-18 提升超过 14%，LCC 提升超过 8%。
• 消融研究证实，每个组件——幻觉生成、质量感知损失、对抗学习与多层级融合——均对性能有增量贡献，完整模型在 TID2008 上实现 SROCC 0.941 与 LCC 0.949。
• 跨数据集评估表明，在多个数据集（TID2008 与 TID2013）上联合训练生成器可提升泛化能力，在 LIVE 测试集上达到 SROCC 0.983 与 LCC 0.989。
• 在使用 oracle 监督的模型（Ours+Oracle）在 LIVE 数据集上实现 SROCC 0.983 与 LCC 0.989，表明在足够训练数据下，该框架可逼近 oracle 级性能。
• 该方法展现出强大泛化能力，在仅用 TID2008 训练时，于 TID2013 子集上实现 SROCC 0.983，表明对未见失真类型的鲁棒性。