[论文解读] A study of deep perceptual metrics for image quality assessment

Rémi Kazmierczak, Gianni Franchi+3 more|arXiv (Cornell University)|Feb 17, 2022

Image and Video Quality Assessment被引用 6

一句话总结

本文提出了一种多分辨率感知度量（MR-Perceptual），通过在多个网络层和分辨率上聚合深度特征，提升了图像质量评估的性能。该方法在多种失真类型上均优于标准感知度量，表明监督训练与多尺度特征融合能更优地匹配人类感知。

ABSTRACT

Several metrics exist to quantify the similarity between images, but they are inefficient when it comes to measure the similarity of highly distorted images. In this work, we propose to empirically investigate perceptual metrics based on deep neural networks for tackling the Image Quality Assessment (IQA) task. We study deep perceptual metrics according to different hyperparameters like the network's architecture or training procedure. Finally, we propose our multi-resolution perceptual metric (MR-Perceptual), that allows us to aggregate perceptual information at different resolutions and outperforms standard perceptual metrics on IQA tasks with varying image deformations. Our code is available at https://github.com/ENSTA-U2IS/MR_perceptual

研究动机与目标

• 研究基于深度神经网络的深度感知度量在图像质量评估（IQA）中的有效性。
• 评估不同深度神经网络（DNN）架构、训练过程与超参数对感知相似性估计的影响。
• 开发一种通用感知度量，使其在各种图像失真下与人类感知更加一致。
• 识别适用于IQA任务的最佳特征提取策略与归一化技术。

提出的方法

• 通过不同架构（包括AlexNet和ResNet50）的深度神经网络（DNN）对感知度量进行实证评估。
• 采用两种特征提取策略：特征图的线性拼接与通过Gram矩阵生成的二次特征。
• 使用多分辨率输入（原始图像及×2上采样版本）以捕捉不同尺度的感知信息。
• 在潜在空间中使用深度特征之间的L2距离作为差异度量。
• 比较多种预训练策略，包括监督学习、自监督学习（SimCLR、MoCo、DINO）以及随机初始化。
• 提出一种多分辨率感知损失，通过融合多个模块与分辨率的特征，提升鲁棒性。

实验结果

研究问题

• RQ1 不同DNN架构如何影响感知度量在IQA中的性能？
• RQ2 训练过程（监督学习 vs. 自监督学习 vs. 随机初始化）对感知度量质量有何影响？
• RQ3 哪种特征提取策略（线性 vs. 二次）能提供更优的感知相似性估计？
• RQ4 多分辨率输入如何影响感知度量的鲁棒性与准确性？
• RQ5 哪些网络层能为不同类型的图像失真提供最具判别力的特征？

主要发现

• 在所有IQA基准测试中，ImageNet上的监督训练始终优于自监督学习与随机初始化，平均得分为66.92，优于次优方法的65.30。
• 在'Trad'失真集上，AlexNet的第4与第5层表现最佳；而在'CNN'、'SuperRes'、'Deblur'与'Color'集上，早期层（第2至第3层）表现更优。
• 所提出的MR-Perceptual度量在2AFC基准测试中取得69.8%的平均得分，超越所有基线方法，包括Watching、Split-Brain、Puzzle与BiGAN。
• 多分辨率特征融合显著提升性能，在所有失真类型上均优于单分辨率设置。
• 通过Gram矩阵生成的二次特征与多统计量聚合进一步提升了在特定失真类型上的性能。
• 尽管自监督学习取得进展，监督预训练仍是感知IQA中最有效的策略。