[論文レビュー] A practical guide and software for analysing pairwise comparison experiments

María Pérez‐Ortiz, Rafał Mantiuk|arXiv (Cornell University)|Dec 11, 2017

Image and Video Quality Assessment参考文献 36被引用数 49

ひとこと要約

本論文は、画像品質評価を焦点として、ペアワイズ比較データを分析する包括的なガイドおよびオープンソースのMATLABツールボックスを提示する。外れ値検出、信頼区間、統計的仮説検定、および有限距離事前分布を用いた改善されたスケーリング手法を導入し、特に観察者数が少ない場合の精度を向上させる。シミュレーションおよび実世界の応用において、標準的手法よりも優れた性能を示している。

ABSTRACT

Most popular strategies to capture subjective judgments from humans involve the construction of a unidimensional relative measurement scale, representing order preferences or judgments about a set of objects or conditions. This information is generally captured by means of direct scoring, either in the form of a Likert or cardinal scale, or by comparative judgments in pairs or sets. In this sense, the use of pairwise comparisons is becoming increasingly popular because of the simplicity of this experimental procedure. However, this strategy requires non-trivial data analysis to aggregate the comparison ranks into a quality scale and analyse the results, in order to take full advantage of the collected data. This paper explains the process of translating pairwise comparison data into a measurement scale, discusses the benefits and limitations of such scaling methods and introduces a publicly available software in Matlab. We improve on existing scaling methods by introducing outlier analysis, providing methods for computing confidence intervals and statistical testing and introducing a prior, which reduces estimation error when the number of observers is low. Most of our examples focus on image quality assessment.

研究の動機と目的

• 知覚実験、特に画像品質評価におけるペアワイズ比較データの分析課題に対処すること。
• スケーリングの不一致や実験セッション間のばらつきといった、直接評価法の限界を克服すること。
• 不確実性推定を伴う解釈可能な品質スコアにペアワイズ比較をスケーリングする、堅牢でアクセスしやすいフレームワークを提供すること。
• 有限距離事前分布を用いることで、観察者数が少ない状況での推定精度を向上させるとともに、同日や不完全な実験設計といった実用的問題に対処すること。

提案手法

• ペアワイズ比較データを、知覚的差を表す一次元的品質スケールにスケーリングするために、サストン・ケースVモデルを用いる。
• 観察者数が少ない場合の推定誤差を低減するために、有限距離事前分布を適用し、安定性と正確性を向上させる。
• 信頼性の低い観察者や一貫性のない反応を特定・除外するための外れ値検出を実装する。
• 信頼区間の計算と統計的仮説検定を実施し、品質スコアの差の有意性と信頼性を評価する。
• 比較の選択を戦略的に制御することで、不完全な実験設計をサポートし、データ収集負荷を軽減する（例：品質スケールの隣接する条件）。
• 同点の扱いには等分割法を採用するが、本論文はこの方法がバイアスを生じさせることを警告しており、現時点のソフトウェアでは推奨しない。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてペアワイズ比較データを意味のある品質スコアに信頼性のある不確実性を伴ってスケーリングできるか？
• RQ2 観察者数が少ない場合に、有限距離事前分布が推定精度に与える影響は何か？
• RQ3 不完全な実験設計は、スケーリング結果の正確性と精度にどのように影響するか？
• RQ4 ペアワイズ比較に「好みなし」の選択肢を許容することは、バイアスおよび信頼区間に対してどのような影響を及ぼすか？
• RQ5 外れ値検出と統計的仮説検定は、実世界の知覚実験におけるペアワイズ比較分析の耐障害性を向上させることができるか？

主な発見

• 有限距離事前分布の導入により、観察者数が少ない場合に推定誤差が顕著に低減される。
• 外れ値検出により、信頼性の低い観察者反応を特定・除外することで、スケーリング結果の信頼性が向上する。
• 品質スケールの隣接する条件に焦点を当てた不完全な設計は、データ収集負荷を削減しつつも、競争力のある性能を達成する。
• 「好みなし」の選択肢を許容すると信頼区間は短くなるが、推定された品質差に顕著な負のバイアス（低めの推定）が生じる。
• モンテカルロシミュレーションの結果、真のJOD距離が大きくなるに従い、RMSEおよび信頼区間が想定よりも急速に増加することが示され、スケール範囲への感受性が確認された。
• 提案されたソフトウェアツールボックスは、過去のコンピュータグラフィックス研究の結果を正確に再現できており、今後の研究に向けた堅牢で拡張可能なプラットフォームを提供している。