[论文解读] A method for statistical comparison of histograms

Sergey Bityukov, Nikolai Krasnikov+2 more|arXiv (Cornell University)|Feb 11, 2013

Advanced Data Processing Techniques参考文献 3被引用 5

一句话总结

该论文提出了一种统计方法，通过计算逐箱值之间偏差的显著性，并使用归一化显著性及其显著性值的均方根（RMS）作为检验统计量，来比较直方图。该方法能够稳健估计两个直方图之间的统计差异，在总事件数不同或各箱分布差异较大的情况下，其可区分性表现优于传统的卡方检验。

ABSTRACT

We propose an approach for testing the hypothesis that two realizations of the random variables in the form of histograms are taken from the same statistical population (i.e. that two histograms are drawn from the same distribution). The approach is based on the notion "significance of deviation". Our approach allows also to estimate the statistical difference between two histograms.

研究动机与目标

• 开发一种统计方法，用于检验两个直方图是否来自同一基础分布。
• 在简单拟合优度检验之外，估计两个直方图之间的统计差异。
• 提供一种对可区分性的更敏感且更易解释的度量，尤其在总事件数不同的情况下。
• 在实验监测等实际应用中实现可行应用，例如在高能物理实验中。

提出的方法

• 该方法使用公式 $\hat{S}_i = \frac{\hat{n}_{i1} - \hat{n}_{i2}}{\sqrt{\hat{\sigma}^2_{n_{i1}} + \hat{\sigma}^2_{n_{i2}}}}$ 计算两个直方图箱之间偏差的逐箱显著性，其中 $\hat{n}_{ik}$ 为观测计数，方差近似为 $\hat{n}_{ik}$。
• 使用逐箱显著性的均方根（RMS）作为直方图之间全局距离的度量。
• 对于总事件数不同的情况，采用归一化显著性：$\hat{S}_i(K) = \frac{\hat{n}_{i1} - K\hat{n}_{i2}}{\sqrt{\hat{\sigma}^2_{n_{i1}} + K^2\hat{\sigma}^2_{n_{i2}}}}$，其中 $K = N_1/N_2$。
• 在原假设下，归一化显著性分布被证明近似服从标准正态分布。
• 该方法使用显著性分布的一阶矩（$\bar{S}$）和二阶中心矩（RMS）来评估可区分性。
• 使用正确决策概率（$1 - \kappa$）作为可区分性的度量，该度量基于第一类和第二类错误率推导得出。

实验结果

研究问题

• RQ1 两个直方图箱之间偏差的显著性能否作为比较整个直方图的可靠检验统计量？
• RQ2 当两个直方图来自同一总体时，逐箱显著性分布的行为如何？
• RQ3 与标准卡方检验相比，显著性值的RMS是否能提供更敏感的直方图差异度量？
• RQ4 对不同总事件数进行归一化处理，如何影响基于显著性的比较的可靠性与可解释性？
• RQ5 与单统计量方法相比，$\bar{S}$ 与 RMS 的联合分布在多大程度上能提升直方图的可区分性？

主要发现

• 当直方图来自同一统计总体时，逐箱显著性 $\hat{S}_i$ 的分布非常接近标准正态分布。
• 显著性值的RMS为两个直方图之间的统计差异提供了稳健的全局度量。
• 对于总事件数不同的直方图，归一化显著性 $\hat{S}_i(K)$ 的分布接近标准正态分布，确保了有效推断。
• 基于 $\bar{S}$ 和 RMS 的方法在区分直方图时，正确决策概率达到 93.88%，优于卡方检验方法（87.26%）。
• 该方法可通过检测总事件数不同时直方形状的微小偏差，实现对实验设备的可靠监控。
• 利用蒙特卡罗模拟生成的伪总体，可对任意一对待研究的直方图估计其可区分性。