[论文解读] A Knowledge-Driven Quality-of-Experience Model for Adaptive Streaming Videos

Zhengfang Duanmu, Wentao Liu+5 more|arXiv (Cornell University)|Nov 18, 2019

Image and Video Quality Assessment参考文献 62被引用 12

一句话总结

本文提出KSQI，一种面向自适应视频流的基于知识的客观体验质量（QoE）模型，通过约束优化整合人类视觉系统（HVS）先验知识与有限的主观数据。通过在由感知约束导出的凸集中建模QoE函数，KSQI在多样化的流媒体环境和基准数据集上实现了最先进的泛化性能，在跨数据集评估中优于现有的基于学习的模型。

ABSTRACT

The fundamental conflict between the enormous space of adaptive streaming videos and the limited capacity for subjective experiment casts significant challenges to objective Quality-of-Experience (QoE) prediction. Existing objective QoE models exhibit complex functional form, failing to generalize well in diverse streaming environments. In this study, we propose an objective QoE model namely knowledge-driven streaming quality index (KSQI) to integrate prior knowledge on the human visual system and human annotated data in a principled way. By analyzing the subjective characteristics towards streaming videos from a corpus of subjective studies, we show that a family of QoE functions lies in a convex set. Using a variant of projected gradient descent, we optimize the objective QoE model over a database of training videos. The proposed KSQI demonstrates strong generalizability to diverse streaming environments, evident by state-of-the-art performance on four publicly available benchmark datasets.

研究动机与目标

• 解决现有自适应视频流客观QoE模型中主观QoE数据有限及泛化能力差的挑战。
• 以系统化方式整合人类视觉系统（HVS）的先验知识，以正则化QoE函数的学习。
• 开发一种鲁棒且可泛化的QoE模型，可在不同视频内容、编码设置、网络条件和设备上均表现良好。
• 通过将感知约束嵌入模型，克服流媒体视频质量评估中的分布偏移与概念漂移问题。
• 提供一种可扩展、可扩展的QoE建模框架，可随时间整合新的HVS知识与特征。

提出的方法

• 该方法将QoE预测建模为基于视频质量与卡顿特征的非参数模型的约束优化问题。
• 将有效QoE函数族建模为功能性空间中由超平面与正锥相交形成的凸集，其源自HVS特性。
• 模型采用投影梯度下降的变体，在由主观研究导出的线性不等式约束下优化QoE函数。
• 约束源自观测到的感知行为，例如QoE对视频质量和卡顿的单调性与有界性。
• 该框架将视频质量（如VMAF）、卡顿时长和自适应幅度作为输入特征，采用分箱法进行离散化。
• 正则化参数λ平衡主观数据保真度与QoE函数的平滑性，实验表明其对λ变化具有鲁棒性。

实验结果

研究问题

• RQ1 能否系统性地将人类视觉系统（HVS）的先验知识整合到客观QoE模型中，以提升在多样化流媒体条件下的泛化能力？
• RQ2 如何数学形式化感知约束，以定义有效QoE函数的凸集？
• RQ3 在QoE评估中常见的低数据场景下，基于知识的正则化是否优于纯数据驱动学习？
• RQ4 单个感知约束对模型性能的贡献程度如何，它们之间又如何相互作用？
• RQ5 该模型对超参数（如分箱大小与正则化强度λ）的敏感性如何？

主要发现

• KSQI在四个公开可用的基准数据集上均实现了最先进的性能，所有配对统计比较中均优于其他模型。
• 该模型展现出强大的泛化能力，即使在测试集与训练集不同的情况下（如LIVE-NFLX-II与WaterlooSQoE-III）仍保持高精度。
• 随着施加的感知约束数量增加，性能持续提升，证实了其在正则化QoE函数方面的有效性。
• 与视频质量相关的QoE单调性约束（约束3）在不同数据集上影响各异，表明其有效性具有上下文依赖性。
• KSQI对分箱大小（5–20箱）与正则化参数λ的变化具有鲁棒性，表明其在不同超参数设置下均表现稳定。
• 使用VMAF作为视频质量度量可获得最佳性能，证实其在模型中作为感知表示的优越性。