[论文解读] Consistent distribution-free $K$-sample and independence tests for univariate random variables

Ruth Heller, Yair Heller+3 more|arXiv (Cornell University)|Oct 24, 2014

Advanced Statistical Methods and Models参考文献 36被引用 50

一句话总结

该论文提出了一种一致、分布自由的 $K$-样本检验与独立性检验方法，针对单变量随机变量，通过在所有划分大小上聚合检验统计量得分，实现高统计功效。通过结合对划分的求和与最大化操作，该方法在多项式时间内完成计算，且在各种依赖结构下表现出色，其统计功效与最优划分基检验相当。

ABSTRACT

A popular approach for testing if two univariate random variables are statistically independent consists of partitioning the sample space into bins, and evaluating a test statistic on the binned data. The partition size matters, and the optimal partition size is data dependent. While for detecting simple relationships coarse partitions may be best, for detecting complex relationships a great gain in power can be achieved by considering finer partitions. We suggest novel consistent distribution-free tests that are based on summation or maximization aggregation of scores over all partitions of a fixed size. We show that our test statistics based on summation can serve as good estimators of the mutual information. Moreover, we suggest regularized tests that aggregate over all partition sizes, and prove those are consistent too. We provide polynomial-time algorithms, which are critical for computing the suggested test statistics efficiently. We show that the power of the regularized tests is excellent compared to existing tests, and almost as powerful as the tests based on the optimal (yet unknown in practice) partition size, in simulations as well as on a real data example.

研究动机与目标

• 解决对一致、分布自由检验方法的需求，以检测单变量随机变量之间复杂且非单调的依赖关系。
• 克服经典检验方法（如皮尔逊、斯皮尔曼）在非线性或非单调关系中统计功效不足的局限性。
• 为大规模假设检验（如基因组学中需测试数以千计变量对）开发计算高效的检验方法。
• 提供统一的框架，使用相同的核心方法同时处理 $K$-样本检验与独立性检验。
• 在无需事先知道最优划分大小的前提下，实现接近最优的统计功效，而该大小在实际中通常未知。

提出的方法

• 基于固定大小 $m$ 的所有划分，提出检验统计量，其中得分用于衡量分箱后 $X$ 与 $Y$ 之间的关联性。
• 采用似然比得分进行分箱，计算所有大小为 $m$ 的划分的 $S_m$（求和）与 $M_m$（最大值）统计量。
• 提出正则化检验方法，通过 $\min_m p_m$ 或 $\max_m p_m$ 聚合所有划分大小 $m$ 的 $p$-值，以结合基于各 $m$ 的独立检验结果。
• 开发多项式时间算法，高效计算检验统计量，从而适用于大规模数据集。
• 通过置换法估计 $p$-值，确保检验的分布自由性质，使原假设下的抽样分布与边缘分布无关。
• 通过将分类变量视为分段化的 $X$，将该方法同时应用于独立性检验与 $K$-样本问题。

实验结果

研究问题

• RQ1 是否存在一种分布自由检验，能够在不假设依赖关系具体参数形式的前提下，对所有备择假设保持一致性？
• RQ2 与固定大小划分相比，对多种划分大小进行聚合如何提升统计功效？
• RQ3 所提出的方法能否匹配或接近使用最优（但未知）划分大小的检验的统计功效？
• RQ4 该检验在大规模数据（如基因组学）中的计算可行性如何？
• RQ5 在各种依赖结构下，正则化检验的性能与现有非参数检验（如 dCov、HHG、MIC 和 Spearman）相比如何？

主要发现

• 基于 $\min_m p_m$ 的正则化检验在几乎所有模拟依赖结构中，其统计功效几乎与使用最优划分大小的检验相当，仅造成极小的统计功效损失。
• 对于单调关系，基于求和的变体 $S_m$ 表现良好，与斯皮尔曼和豪菲尔丁检验相当；而 $M_m$ 变体在复杂场景中表现尤为突出。
• 在正弦（Sine）、阶跃正弦（Heavisine）、螺旋（Spiral）与圆环（Circles）等示例中，所提出的最小 $p$-值检验在数据上显著优于 dCov 与 HHG，某些情况下统计功效提升高达 30%。
• 基于 $\min_m p_m$ 的检验，使用 DDP 或 ADP 得分，在 $N=100$ 时对指数关系（Exp2x）的统计功效达到 0.763，优于 MIC（0.198）与 dCov（0.746）。
• 该方法在多种复杂关系（包括非单调与非线性依赖）中保持高统计功效，而经典检验方法在此类情形下往往失效。
• 多项式时间计算使该方法可实际应用于大规模测试问题，例如在基因组学中测试 $2 \times 10^7$ 对基因，此时基于置换的检验在计算上不可行。