[论文解读] Confidence Interval Estimators for MOS Values

Tobias Hoßfeld, Poul E. Heegaard+2 more|arXiv (Cornell University)|Jun 4, 2018

Fault Detection and Control Systems参考文献 3被引用 8

一句话总结

本文提出了一种基于二项比例方法（Clopper-Pearson、Wilson、Jeffreys）的保守置信区间（CI）估计器，用于QoE研究中的平均意见得分（MOS），其性能优于传统的Student's t区间和自助法，避免了在5点评分量表的有界性约束下CI越界的问题。所提出的估计器在小样本、有界评分场景中能确保100%覆盖率和零异常值比率，尽管置信区间更宽。

ABSTRACT

For the quantification of QoE, subjects often provide individual rating scores on certain rating scales which are then aggregated into Mean Opinion Scores (MOS). From the observed sample data, the expected value is to be estimated. While the sample average only provides a point estimator, confidence intervals (CI) are an interval estimate which contains the desired expected value with a given confidence level. In subjective studies, the number of subjects performing the test is typically small, especially in lab environments. The used rating scales are bounded and often discrete like the 5-point ACR rating scale. Therefore, we review statistical approaches in the literature for their applicability in the QoE domain for MOS interval estimation (instead of having only a point estimator, which is the MOS). We provide a conservative estimator based on the SOS hypothesis and binomial distributions and compare its performance (CI width, outlier ratio of CI violating the rating scale bounds) and coverage probability with well known CI estimators. We show that the provided CI estimator works very well in practice for MOS interval estimators, while the commonly used studentized CIs suffer from a positive outlier ratio, i.e., CIs beyond the bounds of the rating scale. As an alternative, bootstrapping, i.e., random sampling of the subjective ratings with replacement, is an efficient CI estimator leading to typically smaller CIs, but lower coverage than the proposed estimator.

研究动机与目标

• 解决在小样本量和有界离散评分量表下，标准置信区间（CI）估计器在QoE研究中的局限性。
• 评估不同CI估计器在覆盖率、异常值比率和CI宽度方面的表现。
• 提出一种保守的、基于二项分布的CI估计器，尊重5点ACR评分量表的边界并保持高覆盖率。
• 为QoE研究中的CI估计提供实用建议，特别是在样本量较小且正态性假设不成立的情况下。
• 识别在何种条件下可谨慎使用替代方法（如自助法或t区间），并基于方差特性进行判断。

提出的方法

• 本文综述并比较了多种CI估计方法，包括标准正态/t分布区间、自助法、多项分布的联合CI，以及基于二项比例的CI。
• 提出一种基于SOS（平方和）假设和二项分布的新估计器，以保守方式建模评分的变异性。
• 基于二项比例的估计器（Clopper-Pearson、Wilson、Jeffreys）源自精确二项比例置信区间，经调整后适用于MOS评分分布。
• 通过不同样本量和方差水平的模拟和真实QoE研究场景评估性能。
• 异常值比率计算为落在1–5评分量表边界外的CI所占比例，覆盖率则衡量包含真实均值的区间所占比例。
• 使用阈值参数（SOS参数$a$）检测观测方差是否超过二项方差，以提示研究设计中可能存在隐藏因素。

实验结果

研究问题

• RQ1 当应用于小样本、有界MOS数据时，标准CI估计器（如t区间、Wald区间、自助法）在覆盖率和有界性方面的表现如何？
• RQ2 在QoE研究中，基于二项比例的CI（Clopper-Pearson、Wilson、Jeffreys）是否能比传统方法提供更可靠、更保守的MOS区间估计？
• RQ3 样本量和方差对有界评分场景下不同CI估计器的区间宽度和准确性有何影响？
• RQ4 标准CI在何种情况下会违反5点ACR量表的边界？在实际中此类情况发生的频率如何？
• RQ5 在何种条件下可接受使用自助法或t区间替代基于二项分布的CI？在覆盖率和区间宽度方面存在何种权衡？

主要发现

• 所提出的基于二项分布的CI（Clopper-Pearson、Wilson、Jeffreys）在所有测试场景中均实现100%覆盖率和零异常值比率，即使在小样本量下亦然。
• 标准t区间和自助法表现出正的异常值比率，即频繁产生超出1–5评分量表边界的CI。
• 基于二项分布的估计器具有保守性，导致其CI宽度大于正态或t分布估计的区间，但这种特性确保了在有界环境下的稳健性和有效性。
• 对于基于二项分布的估计器，覆盖率在不同样本量下几乎保持恒定，而自助法的覆盖率随样本量减小而下降。
• 当SOS参数$a > 1/(k-1)$时，观测方差超过二项方差，提示研究设计中可能存在隐藏因素，需进一步调查。
• 减小CI宽度的最有效方法是增加受试者数量，而非改用保守性较低的估计器。