[論文レビュー] Confidence Interval Estimators for MOS Values

Tobias Hoßfeld, Poul E. Heegaard+2 more|arXiv (Cornell University)|Jun 4, 2018

Fault Detection and Control Systems参考文献 3被引用数 8

ひとこと要約

本稿では、5段階評価尺度の制約を考慮したQoE研究における平均満足度スコア（MOS）の保守的信頼区間（CI）推定手法を提案する。この手法は、二項比例手法（Clopper-Pearson、Wilson、Jeffreys）を用い、標準的手法（Studentのt区間、ブートストラップ）に比べ、境界付きの5段階評価尺度におけるCI違反を回避する。提案手法は、特に小標本・境界付き評価の状況下でも100％のカバレッジと0％の外れ値比を達成するが、その代わりに信頼区間が広がるという代償を伴う。

ABSTRACT

For the quantification of QoE, subjects often provide individual rating scores on certain rating scales which are then aggregated into Mean Opinion Scores (MOS). From the observed sample data, the expected value is to be estimated. While the sample average only provides a point estimator, confidence intervals (CI) are an interval estimate which contains the desired expected value with a given confidence level. In subjective studies, the number of subjects performing the test is typically small, especially in lab environments. The used rating scales are bounded and often discrete like the 5-point ACR rating scale. Therefore, we review statistical approaches in the literature for their applicability in the QoE domain for MOS interval estimation (instead of having only a point estimator, which is the MOS). We provide a conservative estimator based on the SOS hypothesis and binomial distributions and compare its performance (CI width, outlier ratio of CI violating the rating scale bounds) and coverage probability with well known CI estimators. We show that the provided CI estimator works very well in practice for MOS interval estimators, while the commonly used studentized CIs suffer from a positive outlier ratio, i.e., CIs beyond the bounds of the rating scale. As an alternative, bootstrapping, i.e., random sampling of the subjective ratings with replacement, is an efficient CI estimator leading to typically smaller CIs, but lower coverage than the proposed estimator.

研究の動機と目的

• QoE研究における小標本サイズと境界付き離散評価尺度を有する状況において、標準的信頼区間（CI）推定手法の限界を是正すること。
• カバレッジ確率、外れ値比、CI幅の観点から、さまざまなCI推定手法の性能を評価すること。
• 5段階ACR評価尺度の境界を尊重し、高いカバレッジを維持する保守的で二項ベースのCI推定手法を提案すること。
• 正規性仮定が成り立たない小標本において、QoE研究におけるCI推定に実用的な推奨事項を提供すること。
• 分散の特性に基づいて、ブートストラップやt区間を注意深く使用できる条件を同定すること。

提案手法

• 本稿では、標準的正規分布／t分布区間、ブートストラップ、多項分布の同時CI、二項比例に基づくCIの複数の推定手法をレビュー・比較する。
• 評価のばらつきを保守的にモデル化するため、SOS（二乗和）仮説と二項分布に基づく新しい推定手法を導入する。
• 二項ベースの推定手法（Clopper-Pearson、Wilson、Jeffreys）は、MOS評価分布に適応した正確な二項比例信頼区間を出発点とする。
• さまざまな標本サイズと分散レベルを想定した、シミュレーションおよび実世界のQoE研究シナリオを用いて性能を評価する。
• 外れ値比は、CIが1～5の評価尺度の境界をはみ出している割合として計算され、カバレッジは真の平均を含む区間の割合として測定される。
• 観測分散が二項分散を上回ることを示すための閾値パラメータ（SOSパラメータ $a$）が導入され、研究設計に潜在要因が存在する可能性を示唆する。

実験結果

リサーチクエスチョン

• RQ1 小標本・境界付きMOSデータに標準的CI推定手法（例：t区間、Wald、ブートストラップ）を適用した場合、カバレッジと境界の適合性においてどのように性能を示すか？
• RQ2 二項比例に基づくCI（Clopper-Pearson、Wilson、Jeffreys）は、従来の手法に比べ、QoE研究におけるMOS値の信頼性の高い保守的区間推定を可能にするか？
• RQ3 標本サイズと分散の変化が、境界付き評価シナリオにおけるさまざまなCI推定手法の幅と正確性に与える影響は何か？
• RQ4 標準的CIが5段階ACR尺度の境界をどのように逸脱するか、実際にはどの程度の頻度で発生するか？
• RQ5 ブートストラップやt区間を二項ベースのCIに代えて使用するのはどのような状況で許容可能か。カバレッジと区間幅のトレードオフは何か？

主な発見

• 提案された二項ベースのCI（Clopper-Pearson、Wilson、Jeffreys）は、すべてのテストシナリオで100％のカバレッジと0％の外れ値比を達成した。特に小標本でも同様の性能を示した。
• 標準的t区間とブートストラップは正の外れ値比を示し、頻繁に1～5の評価尺度の境界をはみ出すCIを生成した。
• 二項ベースの推定手法は保守的であり、正規またはtベースの区間よりも幅が広がるが、これにより境界付き環境下でのロバストネスと妥当性が保証された。
• 二項推定手法では、標本サイズにかかわらずカバレッジがほぼ一定に保たれたが、ブートストラップのカバレッジは標本が小さくなると低下した。
• SOSパラメータ $a > 1/(k-1)$ である場合、観測分散が二項分散を上回ることを示し、研究設計に潜在要因が存在する可能性を示唆する。
• CI幅を短縮する最も効果的な方法は、推定手法をより保守的でないものに切り替えるのではなく、被験者数を増やすことである。