[论文解读] An Augmented Autoregressive Approach to HTTP Video Stream Quality Prediction

Christos G. Bampis, Alan C. Bovik|arXiv (Cornell University)|Jul 10, 2017

Image and Video Quality Assessment参考文献 22被引用 6

一句话总结

本文提出了一种增强型非线性自回归网络（NARX）模型，通过融合多个视频质量评估（VQA）模型输出并应用简单的平均集成方法，提升了连续时间HTTP视频质量预测的性能。该方法显著降低了预测误差，尤其是在结合ST-RRED、GMSD和SSIM时，相较于单输入NARX和非集成基线模型，在LIVE-NFLX QoE数据库上的表现更优。

ABSTRACT

HTTP-based video streaming technologies allow for flexible rate selection strategies that account for time-varying network conditions. Such rate changes may adversely affect the user's Quality of Experience; hence online prediction of the time varying subjective quality can lead to perceptually optimised bitrate allocation policies. Recent studies have proposed to use dynamic network approaches for continuous-time prediction; yet they do not consider multiple video quality models as inputs nor consider forecasting ensembles. Here we address the problem of predicting continuous-time subjective quality using multiple inputs fed to a non-linear autoregressive network. By considering multiple network configurations and by applying simple averaging forecasting techniques, we are able to considerably improve prediction performance and decrease forecasting errors.

研究动机与目标

• 解决先前连续时间QoE预测模型仅依赖单一VQA输入的局限性。
• 通过将多个互补的VQA模型（如SSIM、GMSD、ST-RRED、VMAF）作为输入整合到NARX网络中，提升预测准确性。
• 通过多个时间序列预测结果的简单平均集成，降低预测误差。
• 评估在线（OL）与闭环（CL）NARX配置在预测性能与计算成本之间的权衡。
• 证明将高性能VQA模型（如ST-RRED）与其他模型（如GMSD、SSIM）结合使用时，通过集成平均可获得更优结果。

提出的方法

• 采用非线性自回归外生输入（NARX）模型，基于时间序列输入预测连续时间主观视频质量。
• 将多个VQA模型输出（如SSIM、GMSD、ST-RRED、VMAF、NIQE）作为外生输入送入NARX网络，以捕捉多样化的质量退化特征。
• 实施两种训练配置：在线（OL），其中每个VQA模型独立训练；闭环（CL），其中预测结果反馈至网络。
• 通过组合多个VQA模型预测结果的简单平均集成方法，提升鲁棒性并降低方差。
• 使用LIVE-NFLX视频QoE数据库进行训练与评估，采用标准指标：OR（总体率）、SROCC（斯皮尔曼等级相关系数）和PLCC（皮尔逊线性相关系数）。
• 通过评估指标的中位数，对比不同输入组合、配置（OL与CL）及集成策略的性能。

实验结果

研究问题

• RQ1 与仅使用单一模型相比，融合多个VQA模型输出是否能提升连续时间QoE预测的准确性？
• RQ2 在多个VQA预测结果上应用简单平均集成，是否能降低预测误差并增强鲁棒性？
• RQ3 在预测性能与训练效率方面，在线（OL）与闭环（CL）NARX配置如何比较？
• RQ4 在增强型NARX框架中，哪些VQA模型组合能实现最佳预测性能？
• RQ5 在QoE预测中，引入高性能模型（如ST-RRED）在多大程度上能放大集成平均的优势？

主要发现

• 表现最佳的配置为OL NARX设置，结合平均集成与三个输入（ST-RRED、GMSD、SSIM），实现OR为3.5135，SROCC为0.9321，PLCC为0.9396。
• 平均集成方法在所有VQA组合与配置中均持续降低预测误差，其中结合ST-RRED与GMSD、SSIM时增益最为显著。
• OL配置在准确性和训练效率方面均优于CL配置，CL配置在相同输入数量下训练时间最多增加2.5倍。
• 将ST-RRED与其他模型（如SSIM、GMSD）结合，其结果优于单独使用ST-RRED，表明不同VQA模型提供了互补信息。
• 与原始单输入NARX模型相比，采用多输入与集成平均的NARX模型显著提升了性能，尤其在存在压缩伪影且无卡顿的视频上表现更优。
• 在OL配置中，集成平均的优势最为明显，最佳SROCC（0.9321）与PLCC（0.9396）均在ST-RRED/GMSD/SSIM组合下实现。