[论文解读] Deep Learning based Full-reference and No-reference Quality Assessment Models for Compressed UGC Videos

Wei Sun, Tao Wang+3 more|arXiv (Cornell University)|Jun 2, 2021

Image and Video Quality Assessment参考文献 24被引用 5

一句话总结

本文提出了一种基于深度学习的视频质量评估（VQA）框架，用于压缩的用户生成内容（UGC）视频，通过卷积神经网络（CNN）的多层级特征融合，在全参考（FR）和无参考（NR）设置下实现性能提升。该模型在Compressed UGC VQA数据库上达到最先进水平，并在真实场景的UGC基准上表现出色，通过结合结构/纹理相似性（FR）与分层特征统计（NR），并引入受主观感知启发的时序池化策略。

ABSTRACT

In this paper, we propose a deep learning based video quality assessment (VQA) framework to evaluate the quality of the compressed user's generated content (UGC) videos. The proposed VQA framework consists of three modules, the feature extraction module, the quality regression module, and the quality pooling module. For the feature extraction module, we fuse the features from intermediate layers of the convolutional neural network (CNN) network into final quality-aware feature representation, which enables the model to make full use of visual information from low-level to high-level. Specifically, the structure and texture similarities of feature maps extracted from all intermediate layers are calculated as the feature representation for the full reference (FR) VQA model, and the global mean and standard deviation of the final feature maps fused by intermediate feature maps are calculated as the feature representation for the no reference (NR) VQA model. For the quality regression module, we use the fully connected (FC) layer to regress the quality-aware features into frame-level scores. Finally, a subjectively-inspired temporal pooling strategy is adopted to pool frame-level scores into the video-level score. The proposed model achieves the best performance among the state-of-the-art FR and NR VQA models on the Compressed UGC VQA database and also achieves pretty good performance on the in-the-wild UGC VQA databases.

研究动机与目标

• 解决准确评估压缩用户生成内容（UGC）视频质量的挑战，这些视频常因多样化的失真而超出标准压缩伪影的范畴。
• 克服现有VQA模型主要关注专业级内容或忽略UGC中低层次视觉特征与高层次语义之间相互作用的局限性。
• 开发一个统一的深度学习框架，在真实世界UGC视频质量评估中，有效适用于全参考（FR）和无参考（NR）两种设置。
• 通过采用受主观感知启发的池化策略，将时序动态整合到质量评估中，以反映人类对视频质量随时间变化的感知。

提出的方法

• 融合预训练CNN主干网络中间层的特征，生成对质量敏感的表征，增强对低层次纹理与高层次语义的敏感性。
• 在FR VQA中，计算来自多层特征图的结构与纹理相似性，作为输入表征。
• 在NR VQA中，采用阶梯式分层融合中间层特征，然后计算最终融合特征图的全局均值与标准差作为表征。
• 使用全连接（FC）层将质量感知特征回归为帧级质量分数。
• 应用受主观感知启发的时序池化策略，将帧级分数聚合为单一的视频级质量分数。
• 使用Adam优化器进行训练，初始低学习率（0.00001），批量大小为6，在V100 GPU上训练，并在训练过程中通过随机裁剪进行数据增强。

Fig. 1 : The proposed FR and NR VQA framework. The framework includes the feature extraction module, the quality regression module, and the quality pooling module.

实验结果

研究问题

• RQ1 统一的深度学习框架是否能在全参考和无参考设置下有效评估压缩UGC视频的质量？
• RQ2 与单层或末端层特征相比，来自CNN中间层的多层级特征融合在多大程度上提升了质量评估性能？
• RQ3 特征图中的结构与纹理相似性（FR）以及融合特征的全局统计量（NR）在多大程度上与主观视频质量感知相关？
• RQ4 受主观感知启发的时序池化策略是否在预测人类评分的视频质量分数方面优于标准池化方法？
• RQ5 所提出的模型在具有多样化拍摄条件与复杂失真的真实场景UGC数据集上泛化能力如何？

主要发现

• 所提出的FR VQA模型在Compressed UGC VQA数据库上的表现优于所有现有SOTA模型，SROCC为0.9215，RMSE为0.2483。
• 在KoNViD-1k数据集上，NR VQA模型的SROCC为0.8134，KROCC为0.6201，PLCC为0.8143，RMSE为0.3695，优于所有对比的NR模型。
• 在LIVE-VQC数据集上，NR模型的SROCC为0.7466，PLCC为0.7815，在对比模型中排名第二，尽管未显式建模运动信息。
• 在KoNViD-1k与LIVE-VQC数据集上，该模型显著优于BRISQUE、V-BLIINDS、TLVQM与VIDEVAL，展现出对多样化UGC失真的强鲁棒性。
• 消融实验确认，多层级特征融合以及NR分支中的分层融合策略对性能至关重要，尤其在处理复杂UGC伪影方面表现突出。
• 受主观感知启发的时序池化策略有助于提升与主观质量分数的相关性，尤其在动态内容视频中表现更优。

Fig. 2 : The network architecture of the FR feature extraction module.