[论文解读] Deep HVS-IQA Net: Human Visual System Inspired Deep Image Quality Assessment Networks.

Soomin Seo, Sehwan Ki+1 more|arXiv (Cornell University)|Feb 14, 2019

Image and Video Quality Assessment被引用 5

一句话总结

本文提出 Deep HVS-IQA Net，一种新颖的深度学习图像质量评估框架，将人类视觉系统（HVS）特性——特别是视觉显著性与可察觉差异（JND）——整合进可训练的卷积神经网络（CNN）架构中。通过引入受 HVS 启发的前端处理并采用排名损失以保持感知质量排序，该模型在大规模 IQA 基准测试中优于现有最先进方法。

ABSTRACT

In image quality enhancement processing, it is the most important to predict how humans perceive processed images since human observers are the ultimate receivers of the images. Thus, objective image quality assessment (IQA) methods based on human visual sensitivity from psychophysical experiments have been extensively studied. Thanks to the powerfulness of deep convolutional neural networks (CNN), many CNN based IQA models have been studied. However, previous CNN-based IQA models have not fully utilized the characteristics of human visual systems (HVS) for IQA problems by simply entrusting everything to CNN where the CNN-based models are often trained as a regressor to predict the scores of subjective quality assessment obtained from IQA datasets. In this paper, we propose a novel HVS-inspired deep IQA network, called Deep HVS-IQA Net, where the human psychophysical characteristics such as visual saliency and just noticeable difference (JND) are incorporated at the front-end of the Deep HVS-IQA Net. To our best knowledge, our work is the first HVS-inspired trainable IQA network that considers both the visual saliency and JND characteristics of HVS. Furthermore, we propose a rank loss to train our Deep HVS-IQA Net effectively so that perceptually important features can be extracted for image quality prediction. The rank loss can penalize the Deep HVS-IQA Net when the order of its predicted quality scores is different from that of the ground truth scores. We evaluate the proposed Deep HVS-IQA Net on large IQA datasets where it outperforms all the recent state-of-the-art IQA methods.

研究动机与目标

• 解决现有基于深度卷积神经网络（CNN）的 IQA 模型未能充分利用人类视觉系统（HVS）特性（如视觉显著性与可察觉差异（JND））的问题。
• 开发一种可训练的 IQA 网络，通过在前端显式建模 HVS 心理物理学特性，实现更符合感知的图像质量预测。
• 通过引入一种排名损失，保持质量评分的相对顺序，从而提升训练稳定性与感知相关性。
• 通过结合 HVS 启发特征与深度学习，在大规模 IQA 数据集上实现最先进性能。

提出的方法

• 将人类视觉显著性与 JND 模型作为前端预处理模块，以在 CNN 提取特征前模拟人类感知。
• 使用深度卷积神经网络（CNN）从 HVS 处理后的图像中提取分层特征，用于质量预测。
• 采用一种新颖的排名损失函数，对预测质量评分与真实主观评分之间错误的相对排序进行惩罚。
• 以端到端方式训练整个网络，使反向传播能够同时优化 HVS 启发特征与 CNN 参数。
• 利用大规模 IQA 数据集进行监督训练，模型在回归主观质量评分的同时，受排名损失正则化。
• 确保在特征学习过程中，具有高显著性或接近 JND 阈值的感知重要图像区域得到优先关注。

实验结果

研究问题

• RQ1 将人类视觉系统（HVS）特性（如视觉显著性与可察觉差异（JND））整合进深度学习框架，是否能提升图像质量评估性能？
• RQ2 一种保留质量评分相对顺序的排名损失函数，如何增强 IQA 模型的泛化能力与感知一致性？
• RQ3 前端 HVS 启发模块在多大程度上提升了深度 IQA 网络中对感知关键图像特征的表征能力？
• RQ4 所提出的 Deep HVS-IQA Net 在大规模数据集上是否优于现有最先进深度学习图像质量评估方法？

主要发现

• Deep HVS-IQA Net 通过将 HVS 启发特征整合进深度学习框架，在大规模图像质量评估数据集上实现了最先进性能。
• 在前端引入视觉显著性与 JND 建模，显著提升了模型检测感知相关失真能力。
• 所提出的排名损失函数通过确保预测质量评分的相对顺序与真实值一致，增强了训练效果，提升了鲁棒性与泛化能力。
• 该模型在基准数据集上优于所有近期最先进 IQA 方法，证明了 HVS 启发设计在基于深度学习的质量评估中的有效性。
• 消融实验确认，HVS 前端处理与排名损失在性能提升中均具有独立且协同的作用。
• 该模型在多种图像失真类型上表现出强大泛化能力，表明其对不同感知挑战具有鲁棒性。