[论文解读] fasano.franceschini.test: An Implementation of a Multidimensional KS Test in R

Connor Puritz, Elan Ness-Cohn+1 more|arXiv (Cornell University)|Jun 19, 2021

Bayesian Modeling and Causal Inference被引用 5

一句话总结

本文介绍了 fasano.franceschini.test R 包，实现了 Fasano–Franceschini 多维两样本 Kolmogorov–Smirnov 检验，可高效比较任意维度和数据类型（连续型、离散型或混合型）的多变量分布。该方法通过仅在样本点上最大化检验统计量，而非所有坐标组合，降低了计算复杂度，在高维数据下仍保持计算可行性，且在基于 copula 的替代分布下表现出色的检验效能。

ABSTRACT

The Kolmogorov-Smirnov (KS) test is a nonparametric statistical test used to test for differences between univariate probability distributions. The versatility of the KS test has made it a cornerstone of statistical analysis across many scientific disciplines. However, the test proposed by Kolmogorov and Smirnov does not easily extend to multidimensional distributions. Here we present the fasano.franceschini.test package, an R implementation of a multidimensional two-sample KS test described by Fasano and Franceschini (1987). The fasano.franceschini.test package provides a test that is computationally efficient, applicable to data of any dimension and type (continuous, discrete, or mixed), and that performs competitively with similar R packages.

研究动机与目标

• 为解决缺乏一种计算高效、通用的多变量两样本 KS 检验方法，该方法适用于任意数据类型和维度的问题。
• 在 R 中实现 Fasano–Franceschini 检验，克服现有多变量 KS 检验扩展方法的局限性，这些方法或计算上不可行，或仅限于特定数据类型或维度。
• 提供一个用户友好、高性能的 R 包，支持精确 p 值计算，并能稳健处理混合型和高维数据。
• 在多种分布替代情形下，将所提出的检验与现有多变量拟合优度检验（Cramér 检验、DiProPerm 检验）在检验效能和计算效率方面进行对比基准测试。

提出的方法

• 该检验通过评估每个样本点定义的所有 $2^d$ 象限中经验累积分布函数的最大绝对差异，计算多维 KS 统计量。
• 对每个点 $\mathbf{p}$，该方法计算每个样本落入每个象限 $\mathcal{O}_j(\mathbf{p})$ 的比例，其中象限由坐标差值的符号定义。
• 检验统计量 $D(\mathbf{p})$ 是所有象限中两个样本比例绝对差异的最大值。
• p 值通过蒙特卡洛置换检验计算，即将两个样本合并后反复重新分配，以估计检验统计量在原假设下的抽样分布。
• 通过将最大化过程限制在样本点而非所有坐标组合上，将计算成本从立方级降低到线性级。
• 通过使用指示函数计算象限成员概率，实现对连续型、离散型和混合型数据的支持。

实验结果

研究问题

• RQ1 在不同类型的分布替代情形下，Fasano–Franceschini 检验与其它多变量两样本检验（Cramér 检验、DiProPerm 检验）相比，其统计检验效能如何？
• RQ2 在高维设置下，当边际分布相同时但依赖结构不同时，Fasano–Frranceschini 检验是否仍能保持高检验效能？
• RQ3 Fasano–Franceschini 检验的计算复杂度如何随样本量和维度的增加而变化？其在大规模数据上的可行性如何？
• RQ4 在涉及 copula 结构的替代情形下，该检验是否优于现有方法？此类情形下边际分布相同但依赖结构不同。
• RQ5 在高维情形下，特别是在位置和尺度替代情形下，该检验的效能下降程度如何？

主要发现

• 在基于 copula 的替代情形（高斯和 Clayton）下，Fasano–Franceschini 检验始终优于 Cramér 检验和 DiProPerm 检验，在维度 $d=10$ 时检验效能接近 1。
• 在位置替代情形下，Fasano–Franceschini 检验的效能在 $d=5$ 达到峰值，随后在 $d=20$ 时下降至 $\alpha=0.05$，而 Cramér 检验和 DiProPerm 检验的效能随维度增加而保持或提升。
• 在尺度替代情形下，Fasano–Franceschini 检验与 Cramér 检验在低维时效能相当，但 Cramér 检验在高维时保持更高效能。
• DiProPerm 检验在尺度和 copula 替代情形下未能实现高于 $\alpha=0.05$ 的效能，原因在于高密度区域重叠严重，通过线性超平面分离变得困难。
• Fasano–Franceschini 检验表现出优异的性能，支持精确 p 值计算和高效扩展，适用于具有混合型或离散型数据的高维数据。
• 该包实现计算高效，支持任意数据类型和维度，完整文档和源代码可在 CRAN 和项目官网获取。