[论文解读] A Multi-task convolutional neural network for blind stereoscopic image quality assessment using naturalness analysis

Salima Bourbia, Ayoub Karine+2 more|arXiv (Cornell University)|Jun 17, 2021

Image and Video Quality Assessment参考文献 27被引用 9

一句话总结

本文提出了一种用于无参考立体图像质量评估（NR-SIQA）的多任务卷积神经网络，通过引入基于自然度的特征作为辅助任务，以提升质量预测性能。通过双流CNN架构整合双目与视差特征，并在复小波域中使用自然场景统计（NSS），该方法在对称性失真之外的各类失真上均达到最先进性能，LIVE PHASE I和LIVE PHASE II的PLCC得分分别为0.957和0.921。

ABSTRACT

This paper addresses the problem of blind stereoscopic image quality assessment (NR-SIQA) using a new multi-task deep learning based-method. In the field of stereoscopic vision, the information is fairly distributed between the left and right views as well as the binocular phenomenon. In this work, we propose to integrate these characteristics to estimate the quality of stereoscopic images without reference through a convolutional neural network. Our method is based on two main tasks: the first task predicts naturalness analysis based features adapted to stereo images, while the second task predicts the quality of such images. The former, so-called auxiliary task, aims to find more robust and relevant features to improve the quality prediction. To do this, we compute naturalness-based features using a Natural Scene Statistics (NSS) model in the complex wavelet domain. It allows to capture the statistical dependency between pairs of the stereoscopic images. Experiments are conducted on the well known LIVE PHASE I and LIVE PHASE II databases. The results obtained show the relevance of our method when comparing with those of the state-of-the-art. Our code is available online on https://github.com/Bourbia-Salima/multitask-cnn-nrsiqa_2021.

研究动机与目标

• 解决无参考图像下盲立体图像质量评估（NR-SIQA）的挑战。
• 通过利用左右立体视图之间的统计依赖关系，提升质量预测性能。
• 通过基于复小波域中自然场景统计（NSS）的自然度分析辅助任务，增强特征学习能力。
• 构建一个在对称与非对称失真下均具有良好泛化能力的鲁棒深度学习框架。
• 在标准公开数据库（LIVE PHASE I和II）上，使用标准评估指标验证该方法的有效性。

提出的方法

• 该方法采用具有两个主要任务的多任务CNN：(1) 在复小波域中利用NSS预测基于自然度的特征；(2) 预测立体图像的质量得分。
• 通过四个子网络提取特征：两个分别用于左视图和右视图（A和B），一个用于早期融合（C），一个用于晚期融合（D），以捕捉双目与视差特性。
• 网络在归一化的32×32图像块上进行训练，步长为24，以确保在有限数据集上的鲁棒性并避免过拟合。
• 通过特征拼接将辅助任务（自然度特征预测）整合进主任务，从而提升主质量预测任务的性能。
• 将大小为2048的最终特征向量输入多层感知机，完成质量得分回归。
• 采用60/20/20的留出交叉验证协议进行模型训练，确保训练集、验证集与测试集之间的独立性。

实验结果

研究问题

• RQ1 能否通过复小波域中的自然场景统计（NSS）提取的基于自然度的特征，提升盲立体图像质量评估性能？
• RQ2 将自然度特征预测作为辅助任务，是否能提升NR-SIQA中主质量预测任务的性能？
• RQ3 所提出的多任务CNN在对称与非对称失真上的表现，相较于最先进方法如何？
• RQ4 立体对之间的统计依赖关系在多大程度上有助于提升质量预测性能？
• RQ5 所提出方法在不同失真类型及数据库（LIVE PHASE I和II）上是否具备鲁棒性？

主要发现

• 所提方法在LIVE PHASE I上取得0.957的PLCC，在LIVE PHASE II上取得0.921，优于现有最先进方法。
• SROCC在LIVE PHASE I上达到0.942，在LIVE PHASE II上达到0.915，表明质量预测具有强单调性。
• 在LIVE PHASE II中，该方法在对称失真（0.918）和非对称失真（0.896）下均取得最高SROCC，证明其鲁棒性。
• 消融实验表明，若移除辅助自然度特征预测任务，性能将下降（LIVE PHASE I的PLCC降至0.953），证实其有效性。
• 自然度特征预测的RMSE为0.391（LIVE PHASE I）和0.416（LIVE PHASE II），表明辅助任务性能准确。
• 该模型在非对称失真上表现出更优的泛化能力，而此前方法在该类失真上常表现不佳。