[论文解读] Comparison of different goodness-of-fit tests

B. Aslan, G. Zech|ArXiv.org|Jul 31, 2002

Probabilistic and Robust Engineering Design参考文献 5被引用 14

一句话总结

本文提出了两种新型的无分箱拟合优度检验——单变量三区段检验与多变量能量检验，旨在检测实验数据中缓慢变化的偏差。在各种畸变下，能量检验的统计功效优于传统的 $χ^2$ 检验，尤其在多变量情形下表现更优，使其成为现代高维数据分析中 $χ^2$ 检验的有力替代方案，适用于物理学与统计学领域。

ABSTRACT

Various distribution free goodness-of-fit test procedures have been extracted from literature. We present two new binning free tests, the univariate three-region-test and the multivariate energy test. The power of the selected tests with respect to different slowly varying distortions of experimental distributions are investigated. None of the tests is optimum for all distortions. The energy test has high power in many applications and is superior to the chi^2 test.

研究动机与目标

• 为解决 $χ^2$ 检验的局限性，特别是其对任意分箱的依赖性以及对缓慢变化偏差检验力不足的问题。
• 开发并评估新型非参数拟合优度检验，其对数据变换具有不变性，适用于高维数据。
• 在不同类型的畸变下，比较各类拟合优度检验的统计功效，尤其关注实验物理学中常见的畸变类型。
• 提出能量检验作为一种稳健、多变量、无分箱的 $χ^2$ 检验替代方案，具有出色的实证表现。
• 证明能量检验在检测细微、非局部化畸变方面，优于经典的 Kolmogorov-Smirnov 与 Anderson-Darling 检验。

提出的方法

• 提出单变量三区段检验，将数据范围划分为三个区域，通过比较观测频数与期望频数来检测偏移或方差变化。
• 基于数据点之间的成对距离，提出多变量能量检验，利用相关函数（如高斯函数或反幂律）衡量对原假设的偏离程度。
• 采用基于距离的检验统计量，定义为 $ T = \sum_{i<j} \left[ f(r_{ij}) - \mathbb{E}[f(r_{ij})] \right]^2 $，其中 $ f(r) $ 为点间距离的相关函数。
• 引入下限距离 $ d_{\text{min}} $，以避免能量检验中距离过小时的奇点问题，提升对实验分辨率的鲁棒性。
• 采用高斯与对数相关函数对能量检验进行测试，以评估其对不同类型畸变的敏感性。
• 通过蒙特卡洛模拟与多种备择假设（如均值偏移、方差变化、背景污染）下的功效比较，评估检验性能。

实验结果

研究问题

• RQ1 在缓慢变化的偏差下，能量检验与经典拟合优度检验（如 $χ^2$、Kolmogorov-Smirnov 与 Anderson-Darling）相比，其统计功效如何？
• RQ2 能否构建一种无分箱的多变量检验，使其在不假设特定参数形式的前提下，对各类数据畸变保持高统计功效？
• RQ3 三区段检验在检测局部背景或均值偏移畸变方面的表现如何，相较于现有单变量检验有何优势？
• RQ4 相关函数的选择（如高斯函数与对数函数）如何影响能量检验对不同类型数据畸变的敏感性？
• RQ5 在多变量情形下，能量检验在分箱不切实际或具有误导性时，其表现是否显著优于 $χ^2$ 检验？

主要发现

• 能量检验在广泛范围的缓慢变化畸变下表现出高统计功效，并在单变量与多变量情形下持续优于 $χ^2$ 检验。
• 在单变量数据中，三区段检验在检测局部背景或均值偏移畸变方面表现优异，优于 $χ^2$ 检验，且与 Neyman 检验及 Anderson-Darling 检验的功效相当或更优。
• 在多变量应用中，采用高斯或对数相关函数的能量检验，在双变量正态备择假设下，其统计功效高于 Mardia 检验、Neyman 平滑检验与 $χ^2$ 检验。
• 能量检验对维度不敏感，且无需分箱，因此适用于高维数据，而 $χ^2$ 检验因稀疏性与分箱伪影而失效。
• $χ^2$ 检验的统计功效随分箱数量增加而下降，因其对平滑偏差的敏感性降低；而能量检验能保持高敏感性。
• 能量检验的表现对相关函数及其参数 $ \kappa $ 的选择较为敏感，其中 $ \kappa \approx 0.1 $ 对长程畸变最优，$ \kappa \approx 0.3 $ 对短程偏差最优。