[论文解读] Graphical Test for Discrete Uniformity and its Applications in Goodness of Fit Evaluation and Multiple Sample Comparison

Teemu Säilynoja, Paul‐Christian Bürkner+1 more|arXiv (Cornell University)|Mar 18, 2021

Statistical Methods and Bayesian Inference参考文献 7被引用 6

一句话总结

本文提出了一种新颖的图形化离散均匀性检验方法，通过概率积分变换（PIT）值的经验累积分布函数（ECDF）的联合置信带实现。结合模拟与基于优化的方法，该方法可实现稳健的拟合优度评估及多组样本比较——尤其适用于MCMC收敛性诊断与基于模拟的校准——为分布偏差提供可视化与定量洞察，超越单一诊断统计量的局限。

ABSTRACT

Assessing goodness of fit to a given distribution plays an important role in computational statistics. The Probability integral transformation (PIT) can be used to convert the question of whether a given sample originates from a reference distribution into a problem of testing for uniformity. We present new simulation and optimization based methods to obtain simultaneous confidence bands for the whole empirical cumulative distribution function (ECDF) of the PIT values under the assumption of uniformity. Simultaneous confidence bands correspond to such confidence intervals at each point that jointly satisfy a desired coverage. These methods can also be applied in cases where the reference distribution is represented only by a finite sample. The confidence bands provide an intuitive ECDF-based graphical test for uniformity, which also provides useful information on the quality of the discrepancy. We further extend the simulation and optimization methods to determine simultaneous confidence bands for testing whether multiple samples come from the same underlying distribution. This multiple sample comparison test is especially useful in Markov chain Monte Carlo convergence diagnostics. We provide numerical experiments to assess the properties of the tests using both simulated and real world data and give recommendations on their practical application in computational statistics workflows.

研究动机与目标

• 开发一种基于ECDF的图形化离散均匀性检验方法，提供对分布偏差的可视化与统计洞察。
• 将均匀性检验扩展至参考分布仅通过有限样本可知的情形，支持基于模拟的校准。
• 为均匀性假设下的PIT值ECDF提供联合置信带，优于点态置信区间。
• 将该方法扩展至多组样本比较，支持多链MCMC工作流中的诊断。
• 为贝叶斯统计工作流中模型拟合与采样效率的评估，提供实用且计算高效的工具。

提出的方法

• 使用概率积分变换（PIT）将拟合优度检验转化为对变换后值的均匀性检验。
• 采用基于模拟的方法，计算在原假设为均匀性时，离散PIT值ECDF的联合置信带。
• 应用基于优化的调整方法，为大样本计算出紧密且高效的置信带。
• 通过在各链或组间构建联合置信带，将框架扩展至多组样本。
• 使用预计算调整参数的对数-对数插值，加速不同样本规模下的计算。
• 将该方法应用于模拟数据与真实世界数据，包括层次模型与MCMC收敛性诊断。

实验结果

研究问题

• RQ1 如何高效计算在离散均匀性假设下PIT值ECDF的联合置信带？
• RQ2 所提出的图形化检验在检测分布偏离方面，相较于点态置信区间有何改进？
• RQ3 该方法如何适应多组样本比较，例如在多链MCMC诊断中的应用？
• RQ4 该方法在检测层次模型中采样低效性方面的表现如何？
• RQ5 与现有诊断方法（如$τ$-hat）相比，该方法在识别收敛问题方面表现如何？

主要发现

• 基于优化的方法为大样本提供了高效且精确的联合置信带，在速度上优于基于模拟的替代方法。
• 在多组样本比较中，尤其当链数适中时，基于模拟的方法计算效率更高。
• 在八校模型中，图形化检验检测到了中心化参数化下$τ$-hat无法识别的采样问题，揭示了第3条链存在混合不良。
• 重新参数化为非中心化形式后，ECDF差异图与秩图显示所有链均位于95%联合置信带内，证实了混合性能的改善。
• 在非中心化模型中，整体有效样本量（Bulk-ESS）与尾部有效样本量（Tail-ESS）分别提升至2200与1600，与图形化诊断结果一致。
• 该方法成功识别出在有限样本预测分布下，LOO-PIT值并非完全均匀，揭示了LOO-PIT在有限数据下的局限性。