[论文解读] An Attention-Driven Approach of No-Reference Image Quality Assessment

Diqi Chen, Yizhou Wang+2 more|arXiv (Cornell University)|Dec 12, 2016

Image and Video Quality Assessment参考文献 22被引用 4

一句话总结

该论文提出了一种基于注意力机制的无参考图像质量评估（NR-IQA）方法，通过强化学习动态采样任务相关图像区域，将IQA建模为一种动态感知过程。通过整合视觉注意力、鲁棒平均和多任务学习，该模型在TID2008数据集上实现了最先进的性能，具有高精度和高效率，且仅需极少的注视点。

ABSTRACT

In this paper, we present a novel method of no-reference image quality assessment (NR-IQA), which is to predict the perceptual quality score of a given image without using any reference image. The proposed method harnesses three functions (i) the visual attention mechanism, which affects many aspects of visual perception including image quality assessment, however, is overlooked in the NR-IQA literature. The method assumes that the fixation areas on an image contain key information to the process of IQA. (ii) the robust averaging strategy, which is a means \--- supported by psychology studies \--- to integrating multiple/step-wise evidence to make a final perceptual judgment. (iii) the multi-task learning, which is believed to be an effectual means to shape representation learning and could result in a more generalized model. To exploit the synergy of the three, we consider the NR-IQA as a dynamic perception process, in which the model samples a sequence of "informative" areas and aggregates the information to learn a representation for the tasks of jointly predicting the image quality score and the distortion type. The model learning is implemented by a reinforcement strategy, in which the rewards of both tasks guide the learning of the optimal sampling policy to acquire the "task-informative" image regions so that the predictions can be made accurately and efficiently (in terms of the sampling steps). The reinforcement learning is realized by a deep network with the policy gradient method and trained through back-propagation. In experiments, the model is tested on the TID2008 dataset and it outperforms several state-of-the-art methods. Furthermore, the model is very efficient in the sense that a small number of fixations are used in NR-IQA.

研究动机与目标

• 为解决无参考图像质量评估（NR-IQA）中的挑战，包括未知的失真类型、空间分布以及信息聚合问题。
• 通过建模类人注视行为，将视觉注意力整合到NR-IQA中，以识别用于质量判断的关键图像区域。
• 通过联合预测图像质量分数和失真类型，实现多任务学习，以提升表征学习能力和泛化性能。
• 通过采用一种鲁棒平均策略，整合所选图像块的逐步证据，提升预测的鲁棒性和效率。
• 开发一种基于强化学习的动态采样策略，学习关注最具信息量的图像区域，以实现准确且高效的IQA。

提出的方法

• 该模型采用强化学习框架，其中随机策略网络（位置采样模块）基于先前关注区域的累积信息选择注视点。
• 在每次注视时，以注视点为中心提取多尺度图像块（三种尺寸），并由共享的卷积神经网络（多尺度图像分析模块）处理，以提取与任务相关的特征。
• 信息聚合模块中的循环神经网络（RNN）维持一个隐藏状态，用于整合来自连续注视的特征，形成动态表征。
• 该模型联合优化两个目标：预测感知质量分数和分类失真类型，通过多任务学习设置提升特征表征质量。
• 一种鲁棒平均策略将最终的质量分数计算为所关注块预测结果的加权平均，模拟人类随时间的感知整合过程。
• 使用策略梯度方法，将来自两个任务（质量分数预测和失真类型分类）的奖励反向传播至采样策略，实现端到端训练。

实验结果

研究问题

• RQ1 基于强化学习的注意力机制是否能够通过学习采样最具信息量的图像区域，从而提升无参考图像质量评估的性能？

主要发现

• 所提出的RL+M+R模型在TID2008数据集上达到SROCC 0.833和LCC 0.841，优于多个最先进的NR-IQA方法。
• 消融实验证实，鲁棒平均策略显著提升了性能，SROCC从RL+M的0.819提升至RL+M+R的0.833。
• 多任务学习至关重要：无多任务学习的模型（RL-only）仅达到SROCC 0.646和LCC 0.701，表明联合学习能显著提升表征质量。
• 该模型优于多任务CNN基线模型（CNN_MT）和基于显著性图引导的版本（CNN_MT+S），表明任务驱动的注意力优于静态显著性图。
• 该模型在局部失真上表现尤为出色——特别是第14类（非中心性图案噪声）和第15类（局部块状失真），表明对局部退化具有高度敏感性。
• 该模型在15种失真类型的分类中达到87.7%的准确率，混淆主要出现在相似类型之间（例如，第1类和第2类，均涉及高斯噪声但位于不同颜色通道）。