[論文レビュー] A Simple Model for Subject Behavior in Subjective Experiments

Zhi Li, Christos G. Bampis+3 more|arXiv (Cornell University)|Apr 5, 2020

Image and Video Quality Assessment参考文献 9被引用数 8

ひとこと要約

本稿では、最尤推定（MLE）を用いて被験者のバイアスと一貫性を同時に推定する確率的モデルを提案する。従来のハードスイッチング手法に対するソフトな代替手法として、一貫性に基づいて被験者の寄与度を重み付けすることで、特にクラウドソーシングのような困難な状況でも、ロバスト性と精度が向上し、ITU基準よりもモデルのフィット性、信頼区間の狭さ、外れ値への耐性が優れている。

ABSTRACT

In a subjective experiment to evaluate the perceptual audiovisual quality of multimedia and television services, raw opinion scores collected from test subjects are often noisy and unreliable. To produce the final mean opinion scores (MOS), recommendations such as ITU-R BT.500, ITU-T P.910 and ITU-T P.913 standardize post-test screening procedures to clean up the raw opinion scores, using techniques such as subject outlier rejection and bias removal. In this paper, we analyze the prior standardized techniques to demonstrate their weaknesses. As an alternative, we propose a simple model to account for two of the most dominant behaviors of subject inaccuracy: bias and inconsistency. We further show that this model can also effectively deal with inattentive subjects that give random scores. We propose to use maximum likelihood estimation to jointly solve the model parameters, and present two numeric solvers: the first based on the Newton-Raphson method, and the second based on an alternating projection (AP). We show that the AP solver generalizes the ITU-T P.913 post-test screening procedure by weighing a subject's contribution to the true quality score by her consistency (thus, the quality scores estimated can be interpreted as bias-subtracted consistency-weighted MOS). We compare the proposed methods with the standardized techniques using real datasets and synthetic simulations, and demonstrate that the proposed methods are the most valuable when the test conditions are challenging (for example, crowdsourcing and cross-lab studies), offering advantages such as better model-data fit, tighter confidence intervals, better robustness against subject outliers, the absence of hard coded parameters and thresholds, and auxiliary information on test subjects. The code for this work is open-sourced at https://github.com/Netflix/sureal.

研究の動機と目的

• 主観的品質評価における標準化された後処理手順の限界、例えばハードコードされたしきい値や過剰に積極的な被験者除外を解消すること。
• 統一された統計的枠組み内で、被験者の不正確さの主な2要因（バイアスと一貫性の欠如）をモデル化すること。
• 信頼性の低いまたは注意を払っていない被験者の影響を完全にデータを破棄せずに軽減するソフトな除外機構を提供すること。
• クラウドソーシングやクロスラボ研究のような多様で困難なテスト条件に適した、パラメータフリーの推定手法を構築すること。
• バイアスを差し引いた、一貫性で重み付けされたMOSとして解釈可能な品質スコアを提供し、信頼区間を狭くし、モデルとデータの適合性を高めること。

提案手法

• 各被験者の意見スコアを、被験者固有のバイアス（ψ_j）と一貫性（υ_i）、およびスティミュラスの真の品質（Δ_i）をもつ正規分布の確率変数としてモデル化する統計的モデルを提案する。
• 全観測された意見スコアに基づく対数尤度関数 L(θ) を定式化し、パラメータとして ψ_j（被験者バイアス）、Δ_i（真の品質）、υ_i（被験者の一貫性）を含む。
• 尤度関数を最適化することでデータ適合度を最大化するように、最尤推定（MLE）を用いてすべてのモデルパラメータを同時に推定する。
• 数値的最適化のための2つのソルバーを実装する：最適化にニュートン・ラプソン（NR）法を用い、より高速で直感的な代替として交替射影（AP）ソルバーを採用する。
• APソルバーは、被験者の寄与度をその一貫性で重み付けすることで、ITU-T P.913を一般化し、一貫性のない被験者の影響を効果的に低減する一貫性重み付きMOS推定を実現する。
• モデルの適合度を評価し、他の代替手法と比較するためにベイジアン情報基準（BIC）を用いる。適合度が良く、パラメータ数が少ないモデルを好む。

実験結果

リサーチクエスチョン

• RQ1 被験者の行動にバイアスと一貫性の欠如が含まれる状況において、ITU-R BT.500 や ITU-T P.913 といった標準化された後処理手順のロバスト性とモデル適合度はどの程度か？
• RQ2 バイアスと一貫性の両方を統合的にモデル化する統一された統計的枠組みは、ノイズが多いまたは困難なテスト環境において、既存の手法を上回る性能を示せるか？
• RQ3 提案手法のMLEベースの推定法は、標準的なMOS推定と比較して、信頼区間の狭さとモデル-データ適合度をどの程度向上させるか？
• RQ4 注意を払っていない被験者がランダムなスコアを付与する場合、本手法は従来のしきい値ベースの手法に見られる過剰な除外問題を回避できるか？
• RQ5 代替射影（AP）ソルバーは、ハードコードされたしきい値が存在しない点を除き、既存のソルバーに比べてより効果的かつ汎用的であるか？

主な発見

• 提案手法は、ベイジアン情報基準（BIC）で測定したモデル-データ適合度において、ITU-R BT.500 や ITU-T P.913 よりも顕著に優れており、特に高ノイズ条件下で顕著である。
• 提案手法では、推定された品質スコアの信頼区間がより狭く、推定の精度が高く、結果に対する信頼性が向上している。
• 本手法は被験者外れ値に対して優れたロバスト性を示す。不注意または一貫性のない被験者の数が増加するにつれ、推定品質スコアの平均二乗誤差（RMSE）の増加度は標準的手法よりも遅くなる。
• 代替射影（AP）ソルバーは、被験者の一貫性で重み付けされたMOS推定を導入することで、ITU-T P.913 を一般化し、一貫性のない被験者の影響を完全に排除せずに低減している。
• APソルバーはハードコードされたしきい値やパラメータを一切必要としないため、クラウドソーシングやクロスラボ研究のような多様な実験条件にさらに適応可能である。
• 合成データによる検証により、MLEベースのソルバーが真のパラメータを正確に回復でき、本手法の数値的信頼性と収束特性が裏付けられた。