[논문 리뷰] Confidence Interval Estimators for MOS Values

Tobias Hoßfeld, Poul E. Heegaard외 2명|arXiv (Cornell University)|2018. 06. 04.

Fault Detection and Control Systems참고 문헌 3인용 수 8

한 줄 요약

이 논문은 이항비율 방법(Clopper-Pearson, Wilson, Jeffreys)을 사용하여 QoE 연구에서 평균의견점수(MOS)에 대한 보수적인 신뢰구간(CI) 추정기를 제안한다. 이는 표준 방법(스테ュ던트의 t구간, 부트스트래핑 등)보다 5점 척도의 범위가 제한된 경우에 CI 위반을 방지하여 더 우수한 성능을 발휘한다. 제안된 추정기는 소수의 표본, 제한된 척도 상황에서도 100% 커버리지와 0% 이상자 비율을 보장하지만, 넓은 구간을 초래하는 대신에 보수적인 성향을 띤다.

ABSTRACT

For the quantification of QoE, subjects often provide individual rating scores on certain rating scales which are then aggregated into Mean Opinion Scores (MOS). From the observed sample data, the expected value is to be estimated. While the sample average only provides a point estimator, confidence intervals (CI) are an interval estimate which contains the desired expected value with a given confidence level. In subjective studies, the number of subjects performing the test is typically small, especially in lab environments. The used rating scales are bounded and often discrete like the 5-point ACR rating scale. Therefore, we review statistical approaches in the literature for their applicability in the QoE domain for MOS interval estimation (instead of having only a point estimator, which is the MOS). We provide a conservative estimator based on the SOS hypothesis and binomial distributions and compare its performance (CI width, outlier ratio of CI violating the rating scale bounds) and coverage probability with well known CI estimators. We show that the provided CI estimator works very well in practice for MOS interval estimators, while the commonly used studentized CIs suffer from a positive outlier ratio, i.e., CIs beyond the bounds of the rating scale. As an alternative, bootstrapping, i.e., random sampling of the subjective ratings with replacement, is an efficient CI estimator leading to typically smaller CIs, but lower coverage than the proposed estimator.

연구 동기 및 목표

• 소수의 표본 크기와 제한된 이산 척도를 가진 QoE 연구에서 표준 신뢰구간(CI) 추정기의 한계를 해결하기 위해.
• 커버리지 확률, 이상자 비율, CI 폭 측면에서 다양한 CI 추정기의 성능을 평가하기 위해.
• 5점 ACR 척도의 범위를 존중하면서도 높은 커버리지를 유지하는 보수적인 이항기반 CI 추정기를 제안하기 위해.
• 표본 크기가 작고 정규성 가정이 성립하지 않을 경우 QoE 연구에서 CI 추정에 실용적인 권고안을 제공하기 위해.
• 분산 특성에 기반하여 부트스트래핑이나 t구간을 사용할 수 있는 조건을 규명하고, 이에 따른 커버리지와 구간 폭의 상충관계를 분석하기 위해.

제안 방법

• 논문은 표준 정규분포/t분포 기반 구간, 부트스트래핑, 다항분포에 대한 동시 CI, 이항비율 기반 CI 등 여러 CI 추정 방법을 검토하고 비교한다.
• 등차합(SOS) 가설과 이항분포를 기반으로 한 새로운 추정기를 도입하여, 척도 변동성을 보수적으로 모델링한다.
• 이항기반 추정기(Clopper-Pearson, Wilson, Jeffreys)는 비율에 대한 정확한 이항분포 기반 CI에서 유도되며, MOS 척도 분포에 적응하여 적용된다.
• 다양한 표본 크기와 분산 수준을 가진 시뮬레이션 및 실제 QoE 연구 시나리오를 통해 성능을 평가한다.
• 이상자 비율은 실제 평균을 포함하지 않는 CI의 비율로 계산되며, 커버리지는 진짜 평균을 포함하는 CI의 비율로 측정된다.
• 관측된 분산이 이항분산을 초과하는지 확인하기 위해 임계값 파ameter(SOS 파ameter $a$)를 사용하며, 이는 연구 설계 내 잠재적 요인의 존재를 시사한다.

실험 결과

연구 질문

• RQ1 소수의 표본, 제한된 MOS 데이터에 적용했을 때 표준 CI 추정기(t구간, 월드, 부트스트래핑)는 커버리지와 범위 제약 측면에서 어떻게 성능을 보이는가?
• RQ2 Clopper-Pearson, Wilson, Jeffreys와 같은 이항비율 기반 CI는 기존 방법보다 QoE 연구에서 MOS 값에 대해 더 신뢰할 수 있고 보수적인 구간 추정을 제공할 수 있는가?
• RQ3 표본 크기와 분산은 제한된 척도 상황에서 다양한 CI 추정기의 폭과 정확성에 어떤 영향을 미치는가?
• RQ4 표준 CI는 5점 ACR 척도의 범위를 언제나 위반하며, 실제로는 얼마나 자주 발생하는가?
• RQ5 부트스트래핑이나 t구간을 이항기반 CI 대신 사용할 수 있는 조건은 무엇이며, 커버리지와 구간 폭 측면에서 어떤 상충관계가 존재하는가?

주요 결과

• 제안된 이항기반 CI(Clopper-Pearson, Wilson, Jeffreys)는 모든 테스트 시나리오에서 100% 커버리지와 0% 이상자 비율을 달성한다. 이는 소수의 표본 크기 조건에서도 마찬가지다.
• 표준 t구간과 부트스트래핑은 양의 이상자 비율을 보이며, 이는 종종 1–5 척도의 범위를 초과하는 CI를 생성함을 의미한다.
• 이항기반 추정기는 보수적인 성향을 가지며, 정규분포나 t기반 구간보다 더 넓은 CI를 초래하지만, 이는 제한된 환경에서의 강건성과 타당성을 보장한다.
• 이항기반 추정기의 커버리지는 표본 크기에 따라 거의 일정하지만, 부트스트래핑의 커버리지는 표본 수가 줄어들수록 감소한다.
• SOS 파ameter $a > 1/(k-1)$일 경우, 관측된 분산이 이항분산을 초과하며, 이는 연구 설계 내 잠재적 요인 존재를 시사한다.
• CI 폭을 줄이는 데 가장 효과적인 방법은 추정기의 보수성을 낮추는 것이 아니라, 참가자 수를 늘리는 것이다.