[论文解读] An Efficient and Distribution-Free Two-Sample Test Based on Energy Statistics and Random Projections

Cheng Huang, Xiaoming Huo|arXiv (Cornell University)|Jul 14, 2017

Statistical Methods and Inference参考文献 11被引用 7

一句话总结

本文提出随机投影能量统计量（RPES），一种计算高效、分布自由的两样本检验方法，通过随机投影将传统能量统计量的O(N²)复杂度降低至O(KN log N)。该方法在保持与能量统计量几乎相同的统计功效的同时，实现了对大规模或高维数据的可扩展性测试。

ABSTRACT

A common disadvantage in existing distribution-free two-sample testing approaches is that the computational complexity could be high. Specifically, if the sample size is $N$, the computational complexity of those two-sample tests is at least $O(N^2)$. In this paper, we develop an efficient algorithm with complexity $O(N \log N)$ for computing energy statistics in univariate cases. For multivariate cases, we introduce a two-sample test based on energy statistics and random projections, which enjoys the $O(K N \log N)$ computational complexity, where $K$ is the number of random projections. We name our method for multivariate cases as Randomly Projected Energy Statistics (RPES). We can show RPES achieves nearly the same test power with energy statistics both theoretically and empirically. Numerical experiments also demonstrate the efficiency of the proposed method over the competitors.

研究动机与目标

• 解决现有分布自由两样本检验方法在大规模或高维数据下计算复杂度高（O(N²)）的问题。
• 提出一种基于排序与重排的高效算法，将单变量能量统计量的复杂度降低至O(N log N)。
• 通过随机投影将方法扩展至多变量数据，同时保持统计功效并降低计算成本。
• 为RPES与标准能量统计量在渐近效率上的等价性提供理论依据。
• 通过在模拟数据上进行大量数值实验，验证该方法在计算与统计效率方面的优越性。

提出的方法

• 提出一种基于排序与重排的快速算法，将单变量能量统计量的复杂度从O(N²)降低至O(N log N)。
• 应用随机投影，将多变量数据沿随机方向投影为多个单变量投影。
• 对每个投影后的单变量数据集，使用快速算法计算能量统计量，然后对结果取平均。
• 将RPES检验统计量定义为K个随机投影下能量统计量的平均值，以确保一致性与检验功效。
• 利用原假设下检验统计量的渐近分布，推导假设检验的临界值。
• 利用理论结果表明，RPES的渐近方差与标准能量统计量几乎完全相同，意味着其检验功效相当。

实验结果

研究问题

• RQ1 在单变量情形下，能否将基于能量的两样本检验的计算复杂度从O(N²)降低至O(N log N)？
• RQ2 在多变量两样本检验中，使用随机投影是否能保持能量统计量的统计功效？
• RQ3 在检验功效与计算效率方面，RPES与能量统计量及MMD相比表现如何？
• RQ4 随机投影数量（K）对RPES的统计功效与计算成本有何影响？
• RQ5 在各种分布假设下（包括重尾分布与高维分布），RPES能否保持高统计功效？

主要发现

• 所提出的单变量能量统计量快速算法实现了O(N log N)复杂度，与O(N²)的标准方法相比，显著减少了计算时间。
• RPES保持了与能量统计量几乎相同的检验功效，理论与实证结果均表明其渐近方差近乎一致，意味着功效相当。
• 在多变量t分布的模拟实验中，RPES优于MMD，且在中等至大样本量下与能量统计量表现相当或略逊一筹。
• 对于高维均匀分布，RPES与MMD表现相近，仅在维度与样本量均较低时，RPES略显不足。
• 该方法具有良好的可扩展性：当K=10时，RPES实现了接近最优的检验功效，同时保持O(KN log N)复杂度，适用于大规模数据。
• 数值实验确认，随着样本量超过1,000，RPES在计算效率上显著优于能量统计量与MMD。