[论文解读] Computing the confidence levels for a root-mean-square test of goodness-of-fit, II

William Perkins, Mark Tygert+1 more|arXiv (Cornell University)|Sep 12, 2010

Diverse Scientific and Engineering Research参考文献 14被引用 8

一句话总结

本文提出了一种高效的黑箱算法，用于在模型涉及参数估计时计算均方根拟合优度检验的渐近置信水平，扩展了以往针对完全指定模型的研究。该方法利用非中心卡方分布的数值稳定积分表示，实现了即使在样本量较大、参数化分布复杂的情况下，也能快速且准确地计算P值和置信水平。

ABSTRACT

This paper extends our earlier article, "Computing the confidence levels for a root-mean-square test of goodness-of-fit;" unlike in the earlier article, the models in the present paper involve parameter estimation -- both the null and alternative hypotheses in the associated tests are composite. We provide efficient black-box algorithms for calculating the asymptotic confidence levels of a variant on the classic chi-squared test. In some circumstances, it is also feasible to compute the exact confidence levels via Monte Carlo simulation.

研究动机与目标

• 开发计算高效的算法，用于在模型为复合模型（涉及参数估计）时计算拟合优度检验的置信水平。
• 将以往针对完全指定模型的研究扩展至原假设与备择假设因参数估计而成为复合假设的情形。
• 为大规模样本设置下根均方统计量的渐近P值和置信水平提供实用的黑箱解决方案。
• 即使对于具有无限多个区间的模型，也能通过截断至累积概率高的有限区间集合，实现高精度计算。
• 同时支持通过积分求积法进行解析计算，以及在小样本情形下使用蒙特卡洛模拟。

提出的方法

• 使用基于定理2.1推导出的加权卡方变量平方和的累积分布函数的积分表示。
• 应用自适应高斯求积法，对累积分布函数表达式中的复杂数值积分进行计算。
• 采用平方根的主支并取虚部，以确保数值稳定性和收敛性。
• 将无限区间的样本空间截断为总概率超过1−ε的有限区间集合，确保在机器精度范围内的准确性。
• 通过最大似然估计（MLE）处理参数估计问题，该估计在大样本极限下收敛于真实值。
• 支持根均方统计量中的任意加权方式，超越了均匀加权的限制。

实验结果

研究问题

• RQ1 当模型分布为参数化且需从数据中估计参数时，如何高效计算根均方检验的置信水平？
• RQ2 何种数值方法可实现复合假设检验中根均方检验渐近P值的快速且精确计算？
• RQ3 在实际应用中，如何处理具有无限多个区间的模型而不损失精度？
• RQ4 在大样本设置下，参数估计对根均方检验统计量分布有何影响？
• RQ5 在何种场景下，直接蒙特卡洛模拟适用于计算置信水平？其与所提出的解析方法相比表现如何？

主要发现

• 所提出的算法即使在模型具有无限多个区间的情况下，也能实现根均方拟合优度检验置信水平的快速且精确计算，且在存在参数估计时依然有效。
• 定理2.1中的积分表示确保了数值稳定性，由于平方根乘积存在下界， integrand 远离无穷大。
• 在齐普夫分布示例中，通过在函数 g(θ) = f(θ) − ∑Yk ln(k) 上使用二分法求解参数 θ 的最大似然估计，实现了高精度收敛。
• 在泊松分布示例中，采用 ε = 10⁻⁸ 截断无限支撑，仅保留累积概率 ≥ 0.99999999 的区间，确保了高精度。
• 该算法随样本量呈线性扩展，对于 n 个区间的置信水平计算时间复杂度为 O(n)，适用于大规模应用。
• 该方法对多参数模型和加权根均方统计量具有鲁棒性和可扩展性，已超越单标量参数情形。