[論文レビュー] From QoS Distributions to QoE Distributions: a System's Perspective

Tobias Hoßfeld, Poul E. Heegaard+3 more|arXiv (Cornell University)|Mar 28, 2020

Image and Video Quality Assessment参考文献 15被引用数 6

ひとこと要約

本稿では、QoSからMOSへのマッピング関数と意見スコアの標準偏差（SOS）が与えられたもとで、ユーザー評価分布をベータ分布で近似することにより、ネットワークシステムにおけるQoE（体験品質）分布を推定する手法を提案する。この手法により、観測されたQoS分布と近似された評価分布を組み合わせることで、GoB（良好以上）やPoW（悪質以上）比といったシステムレベルのQoE指標を導出可能であり、完全な被験データが入手できない状況においても実用的なソリューションを提供する。

ABSTRACT

In the context of QoE management, network and service providers commonly rely on models that map system QoS conditions (e.g., system response time, paket loss, etc.) to estimated end user QoE values. Observable QoS conditions in the system may be assumed to follow a certain distribution, meaning that different end users will experience different conditions. On the other hand, drawing from the results of subjective user studies, we know that user diversity leads to distributions of user scores for any given test conditions (in this case referring to the QoS parameters of interest). Our previous studies have shown that to correctly derive various QoE metrics (e.g., Mean Opinion Score (MOS), quantiles, probability of users rating "good or better", etc.) in a system under given conditions, there is a need to consider rating distributions obtained from user studies, which are often times not available. In this paper we extend these findings to show how to approximate user rating distributions given a QoS-to-MOS mapping function and second order statistics. Such a user rating distribution may then be combined with a QoS distribution observed in a system to finally derive corresponding distributions of QoE scores. We provide two examples to illustrate this process: 1) analytical results using a Web QoE model relating waiting times to QoE, and 2) numerical results using measurements relating packet losses to video stall pattern, which are in turn mapped to QoE estimates. The results in this paper provide a solution to the problem of understanding the QoE distribution in a system, in cases where the necessary data is not directly available in the form of models going beyond the MOS, or where the full details of subjective experiments are not available.

研究の動機と目的

• 実世界のシステムでは通常、QoSからMOSへのマッピング関数しか入手できないが、QoE分布データが不足している現状を解消すること。
• MOSとSOSといった2階統計量を用いて、ユーザーの多様性を反映した評価分布の近似を可能とすること。
• 完全なユーザー評価分布データがなくても、GoBやPoW、分位数といったシステムレベルのQoE指標を推定可能とすること。
• 一般的なQoSからMOSへのマッピング関数とSOSパラメータのみを用いて、再現可能でオープンソースのQoE分布推定手法を提供すること。

提案手法

• MOSと意見スコアの標準偏差（SOS）を用いて、ユーザー評価分布をベータ分布で近似する。
• 与えられたMOSとSOS値から、解析的な関係式を用いてベータ分布のパラメータ（αとβ）を導出する。
• 期待値に基づく統合を用いて、近似された評価分布と観測されたQoS分布を統合する：E[Q] = E[f(X)]。
• 2つの事例研究を実施：(1) 待ち時間に基づく解析的Web QoEモデル、(2) パケットロスとストールパターンを含む数値的動画ストリーミングモデル。
• 得られたQoE分布を用いて、GoB（P(Q ≥ 4)）やPoW（P(Q ≤ 2)）といったシステムレベルの指標を算出する。
• GitHubに公開されたオープンソーススクリプトを用いて、再現性と再利用性を確保する。

実験結果

リサーチクエスチョン

• RQ1 完全な被験データが得られない状況でも、MOSと意見スコアの標準偏差（SOS）のみを用いてユーザー評価分布を正確に近似できるか？
• RQ2 QoSからMOSへのマッピング関数とSOSが与えられた場合、システム内のQoE分布はどのように導出可能か？
• RQ3 ユーザーの多様性（SOSに反映される）は、GoBやPoWといったシステムレベルのQoE指標にどのような影響を及ぼすか？
• RQ4 動画ストリーミングにおける異なるパケットロス率といったQoS条件の変化に伴い、QoE分布はどのように変化するか？
• RQ5 ベータ分布は、QoEモデリングにおけるユーザー評価分布の信頼できる近似としてどの程度有効か？

主な発見

• 14.4%のパケットロス率では、PoWは81%（θ=0.3）に達し、ユーザーの多様性によるばらつきは見られるものの、全体として顕著な品質低下が確認された。
• 9.6%のパケットロスでは、GoB比は6%（θ=0.3）に低下し、PoWは64%に上昇し、大多数のユーザーが悪質な品質体験を経験していることが示された。
• 4.8%のパケットロス率では、GoB比は約88%（θ=0.3）で、PoWは約4%であり、ユーザー体験の大部分が良好であることが示された。
• パケットロス率が上昇するに従い、QoEのCDFの形状は凸（良好品質）から凹（悪質品質）へと変化し、ユーザー体験のレジームシフトが示された。
• ユーザーの多様性（SOSパラメータθ）の影響は比較的小さく、θ=0.3またはθ=0.1を用いた場合に類似したGoBおよびPoWの結果が得られた。これは、SOSの不確実性に対してもロバストであることを示唆している。
• 提案されたベータ分布近似手法により、完全な評価分布データがなくても、QoE分布と主要指標を高精度に推定可能であり、実用的価値が裏付けられた。