[论文解读] A new test for the multivariate two-sample problem based on the concept of minimum energy

G. Zech, B. Aslan|ArXiv.org|Sep 9, 2003

Advanced Statistical Methods and Models参考文献 11被引用 6

一句话总结

本文提出能量检验，一种基于对点距离的多变量两样本检验，采用对数势函数。与Friedman-Rafsky检验和最近邻检验相比，该检验在高维设置下表现出更优的检验效能，尤其适用于复杂分布差异的检测。

ABSTRACT

We introduce a new statistical quantity the energy to test whether two samples originate from the same distributions. The energy is a simple logarithmic function of the distances of the observations in the variate space. The distribution of the test statistic is determined by a resampling method. The power of the energy test in one dimension was studied for a variety of different test samples and compared to several nonparametric tests. In two and four dimensions a comparison was performed with the Friedman-Rafsky and nearest neighbor tests. The two-sample energy test was shown to be especially powerful in multidimensional applications.

研究动机与目标

• 为解决传统两样本检验在高维空间中的局限性，因为在高维下分箱法与基于秩的方法会因维度灾难而失效。
• 开发一种无需分布假设、计算上可行的检验方法，以检测超出位置与尺度差异的多变量分布细微差异。
• 在多维设置下，将能量检验的性能与Friedman-Rafsky检验和最近邻检验等既有的非参数检验进行比较。
• 确立能量检验作为一种稳健、尺度不变的替代方法，可在多种分布替代情形下保持强大检验效能。

提出的方法

• 检验统计量 Φₙₘ 定义为组内能量（Φₐ, Φᵦ）与两组间交互能量（Φₐᵦ）之和。
• 使用欧几里得范数度量观测值之间的距离，并采用势函数 R(r) = -ln r，以确保尺度不变性与长程敏感性。
• 通过重抽样程序计算检验统计量：对合并样本进行置换，以在原假设 H₀ 下估计抽样分布。
• 能量检验利用了能量泛函在两组来自同一分布时达到最小值的性质，因此 Φₙₘ 的大值表明存在显著差异。
• 通过傅里叶分析提供理论依据，表明能量泛函非负，且仅在原假设下为零。
• 该方法在一维、二维和四维空间中应用，通过模拟评估检验效能，并与基准检验进行比较。

实验结果

研究问题

• RQ1 在高维空间中，能量检验相较于现有非参数检验在检测多变量分布差异方面表现如何？
• RQ2 基于对数势函数的距离检验是否能在包括尖峰或重尾在内的多种分布替代情形下实现高检验效能？
• RQ3 在传统检验因维度灾难而表现不佳的高维空间中，能量检验是否具有鲁棒性与有效性？
• RQ4 能量检验是否在检测细微、复杂的分布差异方面优于Friedman-Rafsky检验与最近邻检验？

主要发现

• 在一维情形下，能量检验在所有考虑的替代情形中均优于柯尔莫哥洛夫-斯米尔诺夫检验、Cramèr-von Mises检验、威尔科克森检验、Lepage检验与卡方检验。
• 在二维与四维情形下，能量检验在所有测试的分布替代情形中均表现出比Friedman-Rafsky检验与最近邻检验更高的拒绝率。
• 对于在 d 维单位超立方体角落（情形11与12）或中心（情形13）出现尖峰的替代情形，四维空间中能量检验的拒绝率分别达到 0.99 与 0.96。
• 对代表轻微偏离正态性的多元 t 分布，能量检验表现出高检验效能（四维下拒绝率为 0.99），表明其对形状差异具有敏感性。
• 即使在其他检验方法表现困难的复杂替代情形下，能量检验仍保持高检验效能，证明其能有效检测长程分布差异。
• 理论分析证实，能量泛函在原假设下达到最小值，验证了该检验的统计基础。