[论文解读] A New ECDF Two-Sample Test Statistic

Connor Dowd|arXiv (Cornell University)|Jul 2, 2020

Statistical Methods and Inference参考文献 7被引用 24

一句话总结

本文提出了一种新的两样本检验统计量——DTS（差异检验统计量），通过在原假设下根据经验累积分布函数差异的估计方差对差异进行最优加权，相较于基于经验累积分布函数（ECDF）的现有检验方法（如Kolmogorov-Smirnov、Kuiper 和 Cramér-von Mises），显著提升了检验效能。该方法在检测位置、尺度及高阶矩差异等多样化分布差异时均表现出更高统计功效，结合了保守的有限样本p值程序与基于R包的O(N log N)计算效率。

ABSTRACT

Empirical cumulative distribution functions (ECDFs) have been used to test the hypothesis that two samples come from the same distribution since the seminal contribution by Kolmogorov and Smirnov. This paper describes a statistic which is usable under the same conditions as Kolmogorov-Smirnov, but provides more power than other extant tests in that vein. I demonstrate a valid (conservative) procedure for producing finite-sample p-values. I outline the close relationship between this statistic and its two main predecessors. I also provide a public R package (CRAN: twosamples [2018]) implementing the testing procedure in $O(N\log(N))$ time with $O(N)$ memory. Using the package's functions, I perform several simulation studies showing the power improvements.

研究动机与目标

• 开发一种更强大的两样本检验方法，用于比较在备择假设涉及位置或尺度之外差异的分布。
• 解决现有基于ECDF的检验在小至中等样本中检测细微或复杂分布差异能力有限的问题。
• 为新检验统计量提供有效且保守的有限样本p值程序。
• 通过R包实现O(N log N)时间复杂度与O(N)空间复杂度的高效计算，以提升广泛可用性。
• 通过模拟实验表明，新检验在多种分布备择假设下均显著优于现有方法，具有更高的检验效能。

提出的方法

• 检验统计量定义为两个经验累积分布函数（ECDF）绝对差异的加权和，权重基于原假设下差异的估计方差。
• 方差估计基于合并样本的ECDF，确保在p=0.5附近方差较高的区域（如中位数附近）的观测被降低权重，而在p=0或p=1附近方差较低的区域（尾部）的观测被提升权重。
• 检验采用基于置换或精确分布近似的保守有限样本p值程序，以维持第一类错误控制。
• 算法通过排序合并样本并高效计算有序数据点上的加权和，实现O(N log N)时间复杂度。
• 该方法已通过R包（twosamples）实现，支持加权观测、并行计算，并可与已知的零分布进行比较。
• 模拟结果表明，该检验具有一致性与渐近有效性，且在多种备择假设下相比现有方法具有更高的检验效能。

实验结果

研究问题

• RQ1 能否开发一种新的两样本检验统计量，使其在功效上显著优于Kolmogorov-Smirnov、Kuiper和Cramér-von Mises等基于ECDF的现有检验方法？
• RQ2 在原假设下对ECDF差异进行方差加权，是否能提升在多样化分布备择假设下的检测能力？
• RQ3 能否构建一种有限样本p值程序，在保持第一类错误控制的同时，支持新检验的实际应用？
• RQ4 与最先进方法相比，新检验在检测位置、尺度及高阶矩（如混合分布）差异方面的表现如何？
• RQ5 该检验是否在广泛分布差异下均保持高功效，还是在某些情况下为获得其他优势而牺牲了部分功效？

主要发现

• 在检测具有不同均值与方差的混合分布时，DTS检验的拒绝率为71%，而Wasserstein检验仅达38%（样本量相同）。
• 在一项包含两个正态分布混合（重新中心化并标准化为均值0、方差1）的模拟中，DTS检验保持最高功效，甚至优于Wasserstein检验及其他先进方法。
• 在检测高阶矩差异（如混合分布中的偏度与峰峰）时，DTS检验表现出持续优越性能，相比Wasserstein检验最高可提升24个百分点的检验效能。
• 在所有涉及不同方差的混合分布模拟中，DTS检验在100%的案例中表现最强大，紧随其后的是Kuiper检验。
• DTS检验在所有测试场景中均保持高功效，包括位置偏移、尺度变化及复杂混合分布，且在任一类备择假设下均无显著性能下降。
• 当DTS检验功效达到71%时，Wasserstein检验在某一混合场景中仅具47%功效，表明在近四分之一的模拟中，DTS检验拒绝原假设而其他检验未拒绝。