[論文レビュー] Generalized Score Distribution

Lucjan Janowski, Bogdan Ćmiel+3 more|arXiv (Cornell University)|Sep 10, 2019

Advanced Statistical Methods and Models参考文献 28被引用数 4

ひとこと要約

本稿では、主観的品質評価におけるリッカート尺度応答のような有限サポートのデータを対象とする二パラメータ離散確率分布、一般化スコア分布（GSD）を提案する。GSDは回答の平均（ψ）とばらつき（ρ）の両方をモデル化し、4つのデータベースからの実際の動画品質スコアがGSDに従う確率が99.7%であることを示している。これは、正規分布および準正規分布モデルを上回る性能を示しており、品質体験（QoE）研究における正確なデータ分析およびシミュレーションに最適である。

ABSTRACT

A class of discrete probability distributions contains distributions with limited support, i.e. possible argument values are limited to a set of numbers (typically consecutive). Examples of such data are results from subjective experiments utilizing the Absolute Category Rating (ACR) technique, where possible answers (argument values) are $\{1, 2, \cdots, 5\}$ or typical Likert scale $\{-3, -2, \cdots, 3\}$. An interesting subclass of those distributions are distributions limited to two parameters: describing the mean value and the spread of the answers, and having no more than one change in the probability monotonicity. In this paper we propose a general distribution passing those limitations called Generalized Score Distribution (GSD). The proposed GSD covers all spreads of the answers, from very small, given by the Bernoulli distribution, to the maximum given by a Beta Binomial distribution. We also show that GSD correctly describes subjective experiments scores from video quality evaluations with probability of 99.7\%. A Google Collaboratory website with implementation of the GSD estimation, simulation, and visualization is provided.

研究の動機と目的

• 有限スケール（例：動画品質テストで用いられる5段階リッカートスケール）における主観的応答を正確にモデル化できる一般化された離散確率分布の開発。
• 連続的近似と離散化・打ち切りを前提とする従来のモデルが引き起こすモデル化誤差を是正すること。
• 特に品質体験（QoE）研究における、主観的実験データの分析およびシミュレーションのための強固な統計的基盤を提供すること。
• 実世界のデータベースを用いたGSDモデルの検証と、従来のモデル（正規分布および準正規分布）に対する優位性の実証。

提案手法

• 有限サポート {1, 2, ..., M} 上で定義される新しい離散分布GSDを提案。パラメータはψ（平均）とρ（ばらつき）であり、確率の単調性が最大で1回しか変化しないことを保証する。
• 一般化形式を用いてGSDの確率質量関数を導出。これは、ρ → 0 の極限でベルヌーイ分布、ρ → 1 の極限でベータ・二項分布を含む。
• 最尤推定法を用いたパラメータ推定アルゴリズムを実装し、広範なシミュレーション研究で妥当性を検証。
• 公開データベースから得た1,874件の処理済み動画シーケンス（PVS）にGSDモデルを適用。カイ二乗検定を用いて、正規分布および準正規分布モデルとの適合度を比較。
• 再現可能性および実用的利用を可能とするために、Google ColabベースのGSD推定・シミュレーション・可視化実装を提供。
• 図11に示す形式的な適合度検定パイプライン（観測度数とGSD、QNormal、正規分布モデル下での理論的確率の比較）を実施。

実験結果

リサーチクエスチョン

• RQ1 一般化スコア分布（GSD）は、従来の正規分布および準正規分布モデルと比較して、主観的動画品質スコアにより良い適合度を示すか？
• RQ2 GSDは、低ばらつき（ベルヌーイに類似）から高ばらつき（ベータ・二項分布に類似）までのスケール全体を、有限離散スケール内で正確にモデル化できるか？
• RQ3 実世界の動画品質データベースにおけるψおよびρの典型的なパラメータ分布は何か？また、ベイズ解析における情報的事前分布として利用可能か？
• RQ4 GSDモデルは動画品質評価を越えて、他のリッカート尺度を用いた主観的実験に対しても頑健かつ汎用的か？

主な発見

• GSDモデルは、1,874件の処理済み動画シーケンスを含む4つのデータベースにおいて、主観的動画品質スコアに99.7%の確率で適合していることが、カイ二乗適合度検定で確認された。
• GSDの適合度検定におけるp値は0.997であり、データがGSD分布に従う強力な証拠を示している。一方、QNormalおよび正規分布モデルのp値はそれぞれ0.000005612および0.000000000であり、適合度が著しく低いことを示している。
• PVSにおけるψパラメータ（平均）の分布には、5に非常に近い高いスコアがほとんど見られない傾向が認められ、データベースバイアスの可能性が示唆された。一方、ρパラメータ（ばらつき）は、µρ = 0.86およびσρ = 0.071を有する切断正規分布で良好に近似された。
• ρパラメータは、応答プロセスの本質を効果的に特徴づける：値が1に近いと高ばらつき（ベータ・二項分布に類似）、値が0に近いと低ばらつき（ベルヌーイに類似）を示し、診断的用途に適している。
• GSDモデルは、実際の主観的データの適合度において、正規分布および準正規分布モデルを上回っている。特に、後者は5%有意水準で適合の帰無仮説を棄却した。
• 著者らは、GSD推定・シミュレーション・可視化を可能にする公開のGoogle Colab実装を提供しており、再現性および実用的採用を支援している。