[논문 리뷰] From QoS Distributions to QoE Distributions: a System's Perspective

Tobias Hoßfeld, Poul E. Heegaard외 3명|arXiv (Cornell University)|2020. 03. 28.

Image and Video Quality Assessment참고 문헌 15인용 수 6

한 줄 요약

이 논문은 유저 평가 분포를 베타 분포를 사용해 근사함으로써, 유량 서비스 품질(QoS)에서 평가 점수(MOS)로의 매핑 함수와 의견 점수의 표준편차(SOS)만을 이용해 네트워크 시스템 내에서 경험 품질(QoE) 분포를 추정하는 방법을 제안한다. 이는 전체 주관적 연구 데이터가 확보되지 않은 상황에서도 시스템 수준의 QoE 지표인 GoB(Good or Better) 및 PoW(Poor or Worse) 비율을 도출할 수 있게 하여 실용적인 솔루션을 제공한다.

ABSTRACT

In the context of QoE management, network and service providers commonly rely on models that map system QoS conditions (e.g., system response time, paket loss, etc.) to estimated end user QoE values. Observable QoS conditions in the system may be assumed to follow a certain distribution, meaning that different end users will experience different conditions. On the other hand, drawing from the results of subjective user studies, we know that user diversity leads to distributions of user scores for any given test conditions (in this case referring to the QoS parameters of interest). Our previous studies have shown that to correctly derive various QoE metrics (e.g., Mean Opinion Score (MOS), quantiles, probability of users rating "good or better", etc.) in a system under given conditions, there is a need to consider rating distributions obtained from user studies, which are often times not available. In this paper we extend these findings to show how to approximate user rating distributions given a QoS-to-MOS mapping function and second order statistics. Such a user rating distribution may then be combined with a QoS distribution observed in a system to finally derive corresponding distributions of QoE scores. We provide two examples to illustrate this process: 1) analytical results using a Web QoE model relating waiting times to QoE, and 2) numerical results using measurements relating packet losses to video stall pattern, which are in turn mapped to QoE estimates. The results in this paper provide a solution to the problem of understanding the QoE distribution in a system, in cases where the necessary data is not directly available in the form of models going beyond the MOS, or where the full details of subjective experiments are not available.

연구 동기 및 목표

• 실제 시스템에서 QoE 분포 데이터의 부족 문제를 해결하기 위해, 일반적으로 이용 가능한 QoS에서 MOS로의 매핑 함수 외에 추가 데이터가 없을 경우의 대안을 제시한다.
• 두 번째 차수 통계량(MOS 및 SOS)을 사용해 주관적 평가의 사용자 다양성을 모델링하기 위해 평가 분포를 근사화한다.
• 주관적 연구에서 전체 사용자 평가 분포를 확보하지 못한 상황에서도 시스템 수준의 QoE 지표(예: GoB, PoW, 분위수) 추정을 가능하게 한다.
• 일반적인 QoS에서 MOS 매핑 함수와 SOS 파rameter만을 사용해 QoE 분포를 추정하는 재현 가능하고 오픈소스 기반의 방법을 제공한다.

제안 방법

• MOS와 의견 점수의 표준편차(SOS)로 구성된 파라미터를 사용해 사용자 평가 분포를 베타 분포로 근사화한다.
• 주어진 MOS 및 SOS 값으로부터 분석적 관계를 이용해 베타 분포의 파라미터(α 및 β)를 유도한다.
• 기대치 기반 통합을 통해 근사된 평가 분포를 관측된 QoS 분포와 결합한다: E[Q] = E[f(X)].
• 두 사례 연구에 적용한다: (1) 대기 시간을 고려한 분석적 웹 QoE 모델, (2) 패킷 손실 및 정지 패턴을 고려한 수치적 비디오 스트리밍 모델.
• 유도된 QoE 분포를 바탕으로 GoB(P(Q ≥ 4)) 및 PoW(P(Q ≤ 2)) 비율과 같은 시스템 수준 지표를 계산한다.
• 재현 가능하고 재사용이 가능한 오픈소스 스크립트를 GitHub에 구현하여 공개한다.

실험 결과

연구 질문

• RQ1 전체 주관적 연구 데이터 없이 MOS와 의견 점수의 표준편차(SOS)만으로 사용자 평가 분포를 정확하게 근사화할 수 있는가?
• RQ2 QoS에서 MOS로의 매핑 함수와 SOS만 제공된 상황에서 시스템 내 QoE 분포는 어떻게 도출할 수 있는가?
• RQ3 사용자 다양성(이를 반영한 SOS)은 GoB 및 PoW와 같은 시스템 수준의 QoE 지표에 어떤 영향을 미치는가?
• RQ4 비디오 스트리밍에서 패킷 손실률이 다양할 경우 QoE 분포는 어떻게 변화하는가?
• RQ5 베타 분포가 QoE 모델링에서 사용자 평가 분포에 대해 신뢰할 수 있는 근사로 기능할 수 있는가?

주요 결과

• 14.4% 손실률에서는 PoW 비율이 약 81% (θ=0.3)에 도달하여, 일부 사용자 다양성에 기인한 변동성에도 불구하고 인식된 품질이 극적으로 악화됨을 보여준다.
• 패킷 손실률이 4.8%일 경우 GoB 비율은 약 88% (θ=0.3)이며 PoW는 약 4%로, 대부분의 사용자가 양호한 경험을 하고 있음을 나타낸다.
• 9.6% 손실률에서는 GoB 비율이 6% (θ=0.3)로 감소하고 PoW 비율은 64%로 증가하여 대부분의 사용자에게 열악한 품질로의 급격한 전환을 보여준다.
• 손실률이 증가함에 따라 QoE 누적분포함수(CDF)의 형태가 볼록형(좋은 품질)에서 오목형(나쁜 품질)으로 변화함으로써 사용자 경험의 제도적 전환을 나타낸다.
• 사용자 다양성(SOS 파라미터 θ)의 영향은 상대적으로 작다. θ=0.3 또는 θ=0.1을 사용할 경우 GoB 및 PoW 결과가 유사하여 SOS에 대한 불확실성에 대해 강건함을 보여준다.
• 제안된 베타 분포 근사법은 전체 평가 분포 데이터 없이도 정확한 QoE 분포 및 핵심 지표 추정이 가능함을 입증하며, 실용적 유용성을 확인한다.