[论文解读] A Simple Model for Subject Behavior in Subjective Experiments

Zhi Li, Christos G. Bampis+3 more|arXiv (Cornell University)|Apr 5, 2020

Image and Video Quality Assessment参考文献 9被引用 8

一句话总结

本文提出一种基于最大似然估计（MLE）的概率模型，联合估计主观质量实验中的主观偏倚与不一致性，提供传统硬阈值方法的软性替代方案。该方法通过根据一致性对受试者贡献进行加权，提升了鲁棒性与准确性——尤其在众包等挑战性场景中表现更优，其模型拟合度、置信区间紧凑性及抗异常值能力均优于ITU标准。

ABSTRACT

In a subjective experiment to evaluate the perceptual audiovisual quality of multimedia and television services, raw opinion scores collected from test subjects are often noisy and unreliable. To produce the final mean opinion scores (MOS), recommendations such as ITU-R BT.500, ITU-T P.910 and ITU-T P.913 standardize post-test screening procedures to clean up the raw opinion scores, using techniques such as subject outlier rejection and bias removal. In this paper, we analyze the prior standardized techniques to demonstrate their weaknesses. As an alternative, we propose a simple model to account for two of the most dominant behaviors of subject inaccuracy: bias and inconsistency. We further show that this model can also effectively deal with inattentive subjects that give random scores. We propose to use maximum likelihood estimation to jointly solve the model parameters, and present two numeric solvers: the first based on the Newton-Raphson method, and the second based on an alternating projection (AP). We show that the AP solver generalizes the ITU-T P.913 post-test screening procedure by weighing a subject's contribution to the true quality score by her consistency (thus, the quality scores estimated can be interpreted as bias-subtracted consistency-weighted MOS). We compare the proposed methods with the standardized techniques using real datasets and synthetic simulations, and demonstrate that the proposed methods are the most valuable when the test conditions are challenging (for example, crowdsourcing and cross-lab studies), offering advantages such as better model-data fit, tighter confidence intervals, better robustness against subject outliers, the absence of hard coded parameters and thresholds, and auxiliary information on test subjects. The code for this work is open-sourced at https://github.com/Netflix/sureal.

研究动机与目标

• 解决标准化后处理程序在主观质量评估中的局限性，如硬编码阈值与过度激进的受试者剔除。
• 在统一的统计框架内建模受试者不准确的两大主要来源——偏倚与不一致性。
• 提供一种软性剔除机制，降低不可靠或注意力不集中的受试者的影响，同时不完全丢弃其数据。
• 开发一种鲁棒的、无需调参的估计方法，适用于多样化且具有挑战性的测试条件，如众包与跨实验室研究。
• 实现可解释的质量评分，即经偏倚校正、一致性加权的MOS，具有更紧致的置信区间与更优的模型-数据拟合度。

提出的方法

• 提出一种统计模型，其中每个受试者的评分被建模为具有受试者特异性偏倚（ψ_j）与不一致性（υ_i）的正态随机变量，刺激物真实质量（Δ_i）为真值。
• 构建所有观测评分的对数似然函数 L(θ)，参数包括 ψ_j（受试者偏倚）、Δ_i（真实质量）与 υ_i（受试者不一致性）。
• 使用最大似然估计（MLE）联合估计所有模型参数，通过优化似然函数以最大化数据拟合度。
• 实现两种数值求解器：一种为牛顿-拉夫森（NR）方法，用于优化；另一种为更快速且更直观的交替投影（AP）求解器。
• AP求解器通过将每个受试者的贡献按其一致性加权，推广了ITU-T P.913，实现一致性加权MOS估计。
• 使用贝叶斯信息准则（BIC）评估模型拟合度，并与替代方案比较，偏好拟合度好且参数更少的模型。

实验结果

研究问题

• RQ1 当受试者行为包含偏倚与不一致性时，标准化后处理程序（如ITU-R BT.500与ITU-T P.913）在鲁棒性与模型拟合度方面的表现如何？
• RQ2 能否通过统一的统计模型同时考虑偏倚与不一致性，在噪声较大或具有挑战性的测试环境中超越现有方法？
• RQ3 与标准MOS估计相比，所提出的基于MLE的方法在置信区间紧凑性与模型-数据拟合度方面提升程度如何？
• RQ4 所提出的方法如何处理给出随机评分的注意力不集中受试者？是否避免了传统阈值方法的过度剔除问题？
• RQ5 交替投影（AP）求解器是否比现有求解器更有效且更具泛化能力，特别是在消除硬编码阈值方面？

主要发现

• 所提模型在贝叶斯信息准则（BIC）衡量下，与ITU-R BT.500及ITU-T P.913相比，模型-数据拟合度显著更优，尤其在高噪声条件下。
• 所提方法下估计质量评分的置信区间更紧凑，表明估计精度更高，结果更可信。
• 该方法在受试者异常值方面表现出更优的鲁棒性：随着注意力不集中或不一致受试者数量增加，估计质量评分的均方根误差（RMSE）增长速度慢于标准方法。
• 交替投影（AP）求解器通过引入一致性加权MOS估计，推广了ITU-T P.913，有效降低了不一致受试者的影响，同时不丢弃数据。
• AP求解器无需硬编码阈值或参数，使其在众包与跨实验室研究等多样化实验条件下更具适应性。
• 合成数据验证表明，基于MLE的求解器能准确恢复真实参数，证明了该方法的数值可靠性与收敛特性。