[论文解读] Generalized Score Distribution

Lucjan Janowski, Bogdan Ćmiel+3 more|arXiv (Cornell University)|Sep 10, 2019

Advanced Statistical Methods and Models参考文献 28被引用 4

一句话总结

本文提出广义评分分布（GSD），一种用于有限支持数据（如主观质量评估中的李克特量表响应）的两参数离散概率分布。该模型同时对答案的均值（ψ）和离散程度（ρ）进行建模，证明在99.7%的概率下，来自四个数据库的真实视频质量评分符合GSD分布——优于正态分布和准正态分布模型，使其成为体验质量研究中准确数据分析与仿真的理想选择。

ABSTRACT

A class of discrete probability distributions contains distributions with limited support, i.e. possible argument values are limited to a set of numbers (typically consecutive). Examples of such data are results from subjective experiments utilizing the Absolute Category Rating (ACR) technique, where possible answers (argument values) are $\{1, 2, \cdots, 5\}$ or typical Likert scale $\{-3, -2, \cdots, 3\}$. An interesting subclass of those distributions are distributions limited to two parameters: describing the mean value and the spread of the answers, and having no more than one change in the probability monotonicity. In this paper we propose a general distribution passing those limitations called Generalized Score Distribution (GSD). The proposed GSD covers all spreads of the answers, from very small, given by the Bernoulli distribution, to the maximum given by a Beta Binomial distribution. We also show that GSD correctly describes subjective experiments scores from video quality evaluations with probability of 99.7\%. A Google Collaboratory website with implementation of the GSD estimation, simulation, and visualization is provided.

研究动机与目标

• 开发一种通用的、离散的概率分布，以准确建模有限量表（如视频质量测试中使用的5点李克特量表）上的主观响应。
• 解决现有模型依赖连续近似与离散化、截断处理所引入的建模误差问题。
• 为分析和模拟主观实验数据（尤其是体验质量（QoE）研究）提供稳健的统计基础。
• 通过真实世界数据库验证所提出的GSD模型，并证明其在拟合优度上优于传统模型（如正态分布和准正态分布）。

提出的方法

• 提出一种新的离散分布GSD，其定义域为有限支撑{1, 2, ..., M}，包含两个参数：ψ（均值）和ρ（离散程度），确保概率单调性最多发生一次变化。
• 通过广义形式推导GSD的概率质量函数，其中伯努利分布（ρ → 0）和贝塔-二项分布（ρ → 1）作为极限情况被包含在内。
• 采用最大似然法实现参数估计算法，并通过大量模拟研究进行验证。
• 将GSD模型应用于来自公开数据库的1,874个处理后视频序列（PVSs），使用卡方检验比较其与正态分布和准正态分布模型的拟合优度。
• 基于Google Colab的实现支持GSD的估计、仿真与可视化，确保可复现性与实际应用。
• 构建正式的拟合优度检验流程（图11），比较GSD、QNormal和正态模型下的理论概率与实际观测频数。

实验结果

研究问题

• RQ1 广义评分分布（GSD）是否在拟合主观视频质量评分方面优于传统的正态分布或准正态分布模型？
• RQ2 GSD能否准确建模有限离散量表上从低变异性（类似伯努利分布）到高变异性（类似贝塔-二项分布）的完整响应变异性范围？
• RQ3 在真实世界视频质量数据库中，ψ和ρ参数的典型分布是什么？这些分布能否作为贝叶斯分析中的信息先验？
• RQ4 GSD模型是否具备鲁棒性与泛化能力，可推广至其他李克特量表主观实验，而不仅限于视频质量评估？

主要发现

• GSD模型在四个人工数据库中对1,874个处理后视频序列的主观视频质量评分拟合概率达到99.7%，经卡方拟合优度检验验证。
• GSD模型的拟合优度p值为0.997，表明数据极有可能服从GSD分布；而QNormal和正态模型的p值分别为0.000005612和0.000000000，表明其拟合效果极差。
• PVS中ψ参数（均值）的分布显示极高分值（接近5）较少，暗示可能存在数据库偏差；而ρ参数（离散程度）可良好地由截断正态分布近似，其参数为µρ = 0.86，σρ = 0.071。
• ρ参数有效表征了潜在的响应过程：接近1的值表示高变异性（类似贝塔-二项分布），接近0的值表示低变异性（类似伯努利分布），因而具备诊断用途。
• 在拟合真实主观数据方面，GSD模型优于正态分布和准正态分布模型，后者在5%显著性水平下拒绝了拟合原假设。
• 作者提供了公开的Google Colab实现，支持GSD的估计、仿真与可视化，促进研究可复现性与实际应用。