[论文解读] FAVER: Blind Quality Prediction of Variable Frame Rate Videos

Qi Zheng, Zhengzhong Tu+4 more|arXiv (Cornell University)|Jan 5, 2022

Image and Video Quality Assessment被引用 6

一句话总结

FAVER 是首个专为可变帧率（VFR）和高帧率（HFR）视频设计的无参考视频质量评估模型。它利用扩展自然场景统计特性和时域带通滤波，对时空小波分解的视频信号进行建模，实现高精度且计算成本低的感知质量预测，在 HFR 数据集上的表现优于现有无参考 VQA 模型。

ABSTRACT

Video quality assessment (VQA) remains an important and challenging problem that affects many applications at the widest scales. Recent advances in mobile devices and cloud computing techniques have made it possible to capture, process, and share high resolution, high frame rate (HFR) videos across the Internet nearly instantaneously. Being able to monitor and control the quality of these streamed videos can enable the delivery of more enjoyable content and perceptually optimized rate control. Accordingly, there is a pressing need to develop VQA models that can be deployed at enormous scales. While some recent effects have been applied to full-reference (FR) analysis of variable frame rate and HFR video quality, the development of no-reference (NR) VQA algorithms targeting frame rate variations has been little studied. Here, we propose a first-of-a-kind blind VQA model for evaluating HFR videos, which we dub the Framerate-Aware Video Evaluator w/o Reference (FAVER). FAVER uses extended models of spatial natural scene statistics that encompass space-time wavelet-decomposed video signals, to conduct efficient frame rate sensitive quality prediction. Our extensive experiments on several HFR video quality datasets show that FAVER outperforms other blind VQA algorithms at a reasonable computational cost. To facilitate reproducible research and public evaluation, an implementation of FAVER is being made freely available online: \url{https://github.com/uniqzheng/HFR-BVQA}.

研究动机与目标

• 解决缺乏专为可变帧率（VFR）和高帧率（HFR）视频定制的无参考/无参考 VQA 模型的问题。
• 开发一种计算效率高且感知准确的 VQA 模型，无需参考视频即可运行。
• 利用时空自然场景统计特性，捕捉 VFR/HFR 内容中由帧率变化引起的失真。
• 实现实时流媒体和用户生成内容工作流中质量评估的可扩展部署。
• 为未来 VFR 视频质量评估研究提供公开可用、可复现的实现。

提出的方法

• FAVER 使用时空小波分解从视频信号中提取多尺度时空特征。
• 应用时域带通滤波器（Haar、Daubechies-2、Bior22）以在时域中隔离感知相关的频率带。
• 从亮度（Y）和色度（U、V）分量中提取特征，包括梯度和拉普拉斯高斯（LoG）响应。
• 利用广义高斯分布对特征进行建模，以捕捉视频失真中的统计特性。
• 通过回归器集成模型结合空间与时间特征，预测整体视频质量得分。
• 采用 1 秒的时序采样策略，以在不同帧率下保持计算效率。

实验结果

研究问题

• RQ1 无参考 VQA 模型能否在无参考内容的情况下有效预测可变帧率（VFR）视频的感知质量？
• RQ2 时空自然场景统计特性在高帧率（HFR）视频中如何贡献于准确的质量预测？
• RQ3 不同时间子带在捕捉帧率相关失真中的相对重要性如何？
• RQ4 与现有模型相比，FAVER 的计算复杂度如何随视频帧率增加而变化？
• RQ5 FAVER 能否在具有不同压缩和采样伪影的多样化 VFR 视频数据集上实现良好泛化？

主要发现

• 在 LIVE-YT-HFR 数据集上，FAVER 达到最高的 SROCC（0.917）和 PLCC（0.902），优于所有对比的无参考 VQA 模型。
• 模型在 15 至 120 fps 的帧率范围内保持一致的性能，且计算成本几乎恒定。
• 结合空间与时间特征（FAVER-All-Db2）的性能显著优于单独使用任一特征，证实了其感知信息的互补性。
• 中频时间子带（来自三级带通滤波器）与人类判断的相关性最高，与时间对比敏感度函数一致。
• 在 1080p@30fps 下，FAVER 的速度比 TLVQM 快 6x–9x，比 VIDEVAL 快 9x–17x，同时实现了更优的准确性。
• 尽管 BVI-HFR 数据集内容变化有限且缺乏压缩失真，FAVER 仍优于所有基线模型。