[论文解读] A comparison of the discrete Kolmogorov-Smirnov statistic and the Euclidean distance

Jacob Carruth, Mark Tygert+1 more|arXiv (Cornell University)|Jun 27, 2012

Statistical Mechanics and Entropy参考文献 24被引用 4

一句话总结

本文比较了离散柯尔莫哥洛夫-斯米尔诺夫（KS）统计量与欧几里得距离作为离散概率分布拟合优度度量的表现。基于理论分析和涵盖多个数据集的400万次蒙特卡洛模拟，研究发现当数据具有自然顺序（有序）时，KS统计量更为强大；而当不存在此类顺序（名义）时，欧几里得距离则更可靠且更易解释。

ABSTRACT

Goodness-of-fit tests gauge whether a given set of observations is consistent (up to expected random fluctuations) with arising as independent and identically distributed (i.i.d.) draws from a user-specified probability distribution known as the "model." The standard gauges involve the discrepancy between the model and the empirical distribution of the observed draws. Some measures of discrepancy are cumulative; others are not. The most popular cumulative measure is the Kolmogorov-Smirnov statistic; when all probability distributions under consideration are discrete, a natural noncumulative measure is the Euclidean distance between the model and the empirical distributions. In the present paper, both mathematical analysis and its illustration via various data sets indicate that the Kolmogorov-Smirnov statistic tends to be more powerful than the Euclidean distance when there is a natural ordering for the values that the draws can take -- that is, when the data is ordinal -- whereas the Euclidean distance is more reliable and more easily understood than the Kolmogorov-Smirnov statistic when there is no natural ordering (or partial order) -- that is, when the data is nominal.

研究动机与目标

• 评估并比较离散柯尔莫哥洛夫-斯米尔诺夫（KS）统计量与欧几里得距离在离散分布拟合优度检验中的统计功效与可靠性。
• 确定在何种条件下，KS统计量（累积型，依赖顺序）与欧几里得距离（非累积型，顺序不变）更为适用。
• 基于数据箱是否存在自然顺序，为选择最优差异度量提供理论与实证指导。
• 通过真实世界数据集（包括恒河猴单倍型、糖果颜色频率及遗传平衡检验）说明性能差异。
• 支持如下建议：KS适用于有序数据，而欧几里得距离在无内在顺序的名义数据中更具稳健性与可解释性。

提出的方法

• 本研究定义了两种差异度量：离散KS统计量，计算模型分布与经验分布累积分布函数之间的最大绝对差值；以及欧几里得距离，计算两分布之间差异的L2范数。
• KS统计量的计算公式为 $ d_1(a,b) = \max_{1\leq k\leq m} \left| \sum_{j=1}^{k} a^{(j)} - \sum_{j=1}^{k} b^{(j)} \right| $，而欧几里得距离为 $ d_2(a,b) = \sqrt{\sum_{j=1}^{m} (a^{(j)} - b^{(j)})^2} $。
• P值通过蒙特卡洛模拟计算：对每次检验，从假设模型 $ p_0(\hat{\theta}) $ 中独立同分布地抽取4,000,000个样本，并将模拟差异值超过观测差异值的比例作为P值。
• 分析在四个真实数据集上评估了两种统计量的表现：随机性检验、泊松性检验、哈迪-温伯格平衡检验与均匀性检验，通过改变分箱顺序以评估其敏感性。
• 对于无自然顺序的数据（如糖果颜色），测试了多种伪随机顺序以评估KS P值的稳定性，而欧几里得距离则保持不变。
• 研究将结果与经典统计量 $ \chi^2 $、$ G^2 $ 和弗里曼-图克统计量进行比较，确认欧几里得距离的行为与其它顺序不变检验一致。

实验结果

研究问题

• RQ1 在离散分布的拟合优度检验中，离散柯尔莫哥洛夫-斯米尔诺夫统计量何时比欧几里得距离更具统计功效？
• RQ2 数据箱中是否存在自然顺序，如何影响KS统计量与欧几里得距离的可靠性与可解释性？
• RQ3 当数据箱无自然顺序时，KS统计量的P值在不同箱顺序下变化程度如何？
• RQ4 在无箱顺序的情况下，欧几里得距离的P值与 $ \chi^2 $ 和 $ G^2 $ 等经典顺序不变统计量的P值相比如何？
• RQ5 基于数据的箱顺序是否可能显著改变KS统计量的行为？若如此，这对推断有何影响？

主要发现

• 当数据具有自然顺序（如有序数据）时，柯尔莫哥洛夫-斯米尔诺夫统计量比欧几里得距离更具统计功效，因其利用累积信息，对分布尾部或中部的偏离更为敏感。
• 在缺乏自然顺序（如名义数据，如糖果颜色）的情况下，欧几里得距离产生的P值比KS统计量更稳定可靠，因为后者在相同箱的不同顺序下变化显著。
• 在糖果颜色数据集（表2）中，欧几里得距离的P值为0.770，与 $ \chi^2 $ 统计量完全一致，这是由于欧几里得距离与 $ \chi^2 $ 的平方根成正比，证实其对箱顺序的不变性。
• 在恒河猴单倍型数据集中，KS统计量的P值在10种伪随机箱顺序下变化极大（图5），而欧几里得距离保持恒定，证明其在顺序不确定性下的稳健性。
• 在均匀性检验（糖果颜色）中，欧几里得距离的P值为0.770，而 $ \chi^2 $、$ G^2 $ 和弗里曼-图克统计量的P值也相近（分别为0.770、0.766、0.755），证实其与既有的顺序不变检验具有一致性。
• KS统计量倾向于强调低频差异，可能因累积性质而掩盖高频差异；而欧几里得距离对所有箱的偏差同等对待，因此在无序情境下更具透明性与可解释性。