[论文解读] From QoS Distributions to QoE Distributions: a System's Perspective

Tobias Hoßfeld, Poul E. Heegaard+3 more|arXiv (Cornell University)|Mar 28, 2020

Image and Video Quality Assessment参考文献 15被引用 6

一句话总结

本文提出一种方法，通过仅利用QoS到MOS的映射函数和意见评分标准差（SOS），使用Beta分布近似用户评分分布，来估计网络系统中的体验质量（QoE）分布。该方法结合近似后的评分分布与观测到的QoS分布，通过期望值积分方式（E[Q] = E[f(X)]）推导出系统级QoE指标（如GoB（良好或以上）和PoW（差或更差）比率），在缺乏完整主观研究数据的情况下提供实用解决方案。

ABSTRACT

In the context of QoE management, network and service providers commonly rely on models that map system QoS conditions (e.g., system response time, paket loss, etc.) to estimated end user QoE values. Observable QoS conditions in the system may be assumed to follow a certain distribution, meaning that different end users will experience different conditions. On the other hand, drawing from the results of subjective user studies, we know that user diversity leads to distributions of user scores for any given test conditions (in this case referring to the QoS parameters of interest). Our previous studies have shown that to correctly derive various QoE metrics (e.g., Mean Opinion Score (MOS), quantiles, probability of users rating "good or better", etc.) in a system under given conditions, there is a need to consider rating distributions obtained from user studies, which are often times not available. In this paper we extend these findings to show how to approximate user rating distributions given a QoS-to-MOS mapping function and second order statistics. Such a user rating distribution may then be combined with a QoS distribution observed in a system to finally derive corresponding distributions of QoE scores. We provide two examples to illustrate this process: 1) analytical results using a Web QoE model relating waiting times to QoE, and 2) numerical results using measurements relating packet losses to video stall pattern, which are in turn mapped to QoE estimates. The results in this paper provide a solution to the problem of understanding the QoE distribution in a system, in cases where the necessary data is not directly available in the form of models going beyond the MOS, or where the full details of subjective experiments are not available.

研究动机与目标

• 为解决现实系统中缺乏QoE分布数据的问题，通常仅能获取QoS到MOS的映射关系。
• 通过使用MOS和SOS的二阶统计量近似用户评分分布，建模用户主观评分的多样性。
• 在无需完整用户评分分布数据的前提下，实现系统级QoE指标（如GoB、PoW、分位数）的估计。
• 提供一种可复现、开源的方法，仅基于常见的QoS到MOS映射关系和SOS参数，估计QoE分布。

提出的方法

• 使用Beta分布对用户评分分布进行近似，参数由MOS和意见评分标准差（SOS）确定。
• 利用解析关系从给定的MOS和SOS值推导Beta分布的参数（α和β）。
• 通过基于期望的积分方法将近似后的评分分布与系统中观测到的QoS分布结合：E[Q] = E[f(X)]。
• 在两个案例研究中应用该方法：(1) 带有等待时间的分析型Web QoE模型，(2) 带有丢包率和卡顿模式的数值化视频流模型。
• 利用所得的QoE分布计算系统级指标，如GoB（P(Q ≥ 4)）和PoW（P(Q ≤ 2)）比率。
• 在GitHub上实现该方法，提供开源脚本以确保可复现性和可重用性。

实验结果

研究问题

• RQ1 在缺乏完整主观研究数据的前提下，是否可以仅使用MOS和意见评分标准差（SOS）准确近似用户评分分布？
• RQ2 当仅有QoS到MOS的映射关系和SOS时，如何推导系统中的QoE分布？
• RQ3 用户多样性（由SOS反映）对系统级QoE指标（如GoB和PoW）有何影响？
• RQ4 在不同QoS条件下（如视频流中的不同丢包率），QoE分布如何变化？
• RQ5 Beta分布能在多大程度上作为QoE建模中用户评分分布的可靠近似？

主要发现

• 在4.8%丢包率下，GoB比率为约88%（θ=0.3），PoW约为4%，表明用户整体体验良好。
• 在9.6%丢包率下，GoB比率降至6%（θ=0.3），PoW上升至64%，表明大多数用户体验显著变差。
• 在14.4%丢包率下，PoW达到81%（θ=0.3），尽管用户多样性带来一定波动，但感知质量明显恶化。
• 随着丢包率上升，QoE累积分布函数（CDF）形状由凸形（高质量）转变为凹形（低质量），表明用户体验发生范式转变。
• 用户多样性（SOS参数θ）的影响相对较小；使用θ=0.3或θ=0.1时，GoB和PoW结果相近，表明对SOS参数不确定性的鲁棒性较强。
• 所提出的Beta分布近似方法即使在缺乏完整评分分布数据的情况下，也能准确估计QoE分布及关键指标，验证了其实际应用价值。