[论文解读] Convolutional Neural Networks for Video Quality Assessment

Michalis Giannopoulos, Grigorios Tsagkatakis+6 more|arXiv (Cornell University)|Sep 26, 2018

Image and Video Quality Assessment参考文献 26被引用 7

一句话总结

本文提出一种基于3D和1D卷积神经网络的深度学习框架，用于预测受HEVC压缩和网络延迟影响的主观视频质量。通过在自定义用户标注的用户生成内容数据集上进行训练，该模型在复杂、真实世界条件下展现出强大的泛化能力，对视频质量的分类准确率达到66.7%（采用多数投票补丁聚合策略），表现出高精度的分类性能。

ABSTRACT

Video Quality Assessment (VQA) is a very challenging task due to its highly subjective nature. Moreover, many factors influence VQA. Compression of video content, while necessary for minimising transmission and storage requirements, introduces distortions which can have detrimental effects on the perceived quality. Especially when dealing with modern video coding standards, it is extremely difficult to model the effects of compression due to the unpredictability of encoding on different content types. Moreover, transmission also introduces delays and other distortion types which affect the perceived quality. Therefore, it would be highly beneficial to accurately predict the perceived quality of video to be distributed over modern content distribution platforms, so that specific actions could be undertaken to maximise the Quality of Experience (QoE) of the users. Traditional VQA techniques based on feature extraction and modelling may not be sufficiently accurate. In this paper, a novel Deep Learning (DL) framework is introduced for effectively predicting VQA of video content delivery mechanisms based on end-to-end feature learning. The proposed framework is based on Convolutional Neural Networks, taking into account compression distortion as well as transmission delays. Training and evaluation of the proposed framework are performed on a user annotated VQA dataset specifically created to undertake this work. The experiments show that the proposed methods can lead to high accuracy of the quality estimation, showcasing the potential of using DL in complex VQA scenarios.

研究动机与目标

• 解决在涉及HEVC压缩和网络引入延迟的真实世界条件下预测主观视频质量的挑战。
• 开发一种客观、自动化的视频质量评估（VQA）方法，以减少对昂贵且耗时的主观测试的依赖。
• 评估深度学习模型在多样化且不可预测的压缩与传输条件下对视频质量分类的性能。
• 优化模型架构与训练策略，以提升在具有挑战性的用户生成内容上的鲁棒性与泛化能力。
• 比较不同的标签离散化策略与聚合方法，以提升端到端视频质量预测的分类准确率。

提出的方法

• 该框架采用两阶段CNN架构：首先使用3D CNN从视频片段中提取时空特征，随后使用1D CNN进行序列级分类。
• 评估了两种补丁聚合策略：基于空间补丁的多数投票聚合，以及使用1D CNN进行端到端预训练的序列分类。
• 将连续的平均意见得分（MOS）按1.33、0.5、0.25和0.125的区间大小离散化为3、5、8或14个类别。
• 模型在经过HEVC编码及多种网络条件处理的自定义用户生成视频内容数据集上进行训练与评估。
• 采用两层3D CNN，分别包含128和256个滤波器，随后是三层1D CNN，分别包含64、128和256个滤波器，用于序列级分类。
• 使用统计假设检验验证不同聚合策略与离散化级别之间性能差异的显著性。

实验结果

研究问题

• RQ1 当视频内容因HEVC压缩和网络延迟而失真时，基于深度学习的方法是否能有效预测主观视频质量？
• RQ2 不同的补丁聚合策略（多数投票 vs. 预训练序列分类）如何影响视频质量分类的准确性？
• RQ3 在不同标签粒度水平下，训练CNN模型时最优的离散质量类别数量是多少？
• RQ4 标签离散化区间的大小如何影响不同质量等级下的分类性能？
• RQ5 所提出的框架在多样化编码与传输条件下，对具有挑战性的现实世界用户生成内容是否具有良好的泛化能力？

主要发现

• 多数投票补丁聚合策略在相同条件下实现了66.7%的序列级分类准确率，优于预训练模型策略。
• 使用3个离散质量类别（区间大小1.33）的模型获得了最高的整体准确率，优于使用5、8或14个类别的模型。
• 当使用5个类别时，预训练模型策略的表现优于多数投票策略，表明粒度与模型稳定性之间存在权衡。
• 使用更小的离散化区间（如0.125）时，分类准确率显著下降，证实了细粒度分类的复杂性增加。
• 该模型展现出强大的泛化能力，在多样化用户生成的视频内容与网络条件下均保持一致的性能表现。
• 统计假设检验证实，不同策略之间的性能差异具有显著性，支持选择多数投票方法为最优方案。