[论文解读] A Statistically and Numerically Efficient Independence Test based on Random Projections and Distance Covariance

Cheng Huang, Xiaoming Huo|arXiv (Cornell University)|Jan 21, 2017

Machine Learning and Algorithms被引用 8

一句话总结

该论文提出了一种随机投影距离协方差（RPDC），这是一种针对多变量随机向量的统计上和数值上高效的独立性检验方法。通过将高维数据投影到多个一维空间，并对快速的单变量距离协方差估计值取平均，RPDC 实现了 O(Kn log n) 的计算复杂度和 O(max{n, K}) 的内存占用，同时保持了与完整多变量距离协方差检验相当的渐近功效。

ABSTRACT

Test of independence plays a fundamental role in many statistical techniques. Among the nonparametric approaches, the distance-based methods (such as the distance correlation based hypotheses testing for independence) have numerous advantages, comparing with many other alternatives. A known limitation of the distance-based method is that its computational complexity can be high. In general, when the sample size is $n$, the order of computational complexity of a distance-based method, which typically requires computing of all pairwise distances, can be $O(n^2)$. Recent advances have discovered that in the {\it univariate} cases, a fast method with $O(n \log n)$ computational complexity and $O(n)$ memory requirement exists. In this paper, we introduces a test of independence method based on random projection and distance correlation, which achieves nearly the same power as the state-of-the-art distance-based approach, works in the {\it multivariate} cases, and enjoys the $O(n K \log n)$ computational complexity and $O(\max\{n,K\})$ memory requirement, where $K$ is the number of random projections. Note that saving is achieved when $K < n/\log n$. We name our method a Randomly Projected Distance Covariance (RPDC). The statistical theoretical analysis takes advantage of some techniques on random projection which are rooted in contemporary machine learning. Numerical experiments demonstrate the efficiency of the proposed method, in relative to several competitors.

研究动机与目标

• 解决多变量距离协方差检验的高计算成本问题，其计算复杂度随样本量 n 增大而呈 O(n²) 增长。
• 在现有快速算法仅适用于单变量情形的高维或多变量场景中，实现高效的独立性检验。
• 开发一种方法，在显著降低计算和内存需求的同时，保持完整多变量距离协方差检验的统计功效。
• 利用机器学习中的随机投影技术，高效地近似多变量依赖关系。
• 为所提出的估计器在一般条件下的渐近效率和一致性提供理论依据。

提出的方法

• 应用随机投影将多变量随机向量 X ∈ ℝ^p 和 Y ∈ ℝ^q 通过随机矩阵转换为一维投影。
• 对每对投影结果使用 [11] 中的 O(n log n) 算法计算快速的单变量距离协方差，该算法仅适用于单变量情形。
• 独立重复 K 次投影和计算过程，生成 K 个代理距离协方差估计值。
• 将 K 个投影估计值的平均值作为最终的距离协方差估计，以降低方差并提高鲁棒性。
• 基于随机投影和距离协方差的理论结果，证明该估计器的期望值收敛于真实的多变量距离协方差。
• 推导在零假设（即变量间独立）下的检验统计量的渐近分布，从而实现有效的 p 值计算。

实验结果

研究问题

• RQ1 能否通过随机投影在最小化统计功效损失的前提下近似多变量距离协方差？
• RQ2 与标准多变量距离协方差相比，所提出方法的计算复杂度和内存占用有何差异？
• RQ3 随机投影次数 K 如何影响估计器的准确性和效率？
• RQ4 所提出方法是否保持与完整多变量距离协方差检验相同的渐近功效？
• RQ5 该方法能否扩展至条件独立性检验或其他依赖度量？

主要发现

• 所提出的 RPDC 方法实现了 O(Kn log n) 的计算复杂度和 O(max{n, K}) 的内存占用，在 K < n / log n 时可实现显著加速。
• 理论分析表明，RPDC 估计器的渐近方差与完整多变量距离协方差的方差相等，意味着统计效率无损失。
• 数值实验表明，RPDC 维持了与当前最先进的基于距离的多变量方法相当的高统计功效。
• 该方法在大规模样本下仍具备可扩展性和有效性，适用于现代统计分析中的大数据应用。
• 随机投影的使用确保了在零假设（即变量间独立）下的检验一致性，从而保证了有效的统计推断。
• 在计算效率方面，该方法优于现有替代方案，且在模拟实验中保持了相当或更优的经验功效。