[论文解读] High dimensional independence testing with maxima of rank correlations

Mathias Drton, Fang Han+1 more|arXiv (Cornell University)|Dec 14, 2018

Random Matrices and Applications被引用 5

一句话总结

该论文提出了一类基于成对等级相关系数最大值的无分布、无置换的高维独立性检验家族，包括Hoeffding的$D$、Blum-Kiefer-Rosenblatt的$R$以及Bergsma-Dassios-Yanagimoto的$\alpha^*$。通过一个新颖的退化U统计量的Cramér型中偏差定理，该方法在高斯拷贝模型下实现了对稀疏替代假设的最优检测速率，并揭示了三种等级相关系数统计量之间的新恒等式。

ABSTRACT

Testing mutual independence for high dimensional observations is a fundamental statistical challenge. Popular tests based on linear and simple rank correlations are known to be incapable of detecting non-linear, non-monotone relationships, calling for methods that can account for such dependences. To address this challenge, we propose a family of tests that are constructed using maxima of pairwise rank correlations that permit consistent assessment of pairwise independence. Built upon a newly developed Cram\'{e}r-type moderate deviation theorem for degenerate U-statistics, our results cover a variety of rank correlations including Hoeffding's $D$, Blum-Kiefer-Rosenblatt's $R$, and Bergsma-Dassios-Yanagimoto's $ au^*$. The proposed tests are distribution-free, implementable without the need for permutation, and are shown to be rate-optimal against sparse alternatives under the Gaussian copula model. As a by-product of the study, we reveal an identity between the aforementioned three rank correlation statistics, and hence make a step towards proving a conjecture of Bergsma and Dassios.

研究动机与目标

• 为解决线性与简单等级相关检验在检测高维数据中非线性、非单调依赖关系方面的局限性。
• 开发一类无分布且无需置换重采样的独立性检验方法。
• 在高维设定下，针对稀疏替代假设，建立所提检验的理论一致性和最优性。
• 揭示Hoeffding的$D$、Blum-Kiefer-Rosenblatt的$R$与Bergsma-Dassios-Yanagimoto的$\alpha^*$之间的新恒等式，推进该领域的一个猜想。

提出的方法

• 该方法将检验统计量构造为高维数据中所有变量对之间成对等级相关系数的最大值。
• 利用退化U统计量的Cramér型中偏差定理，推导检验统计量的渐近零分布。
• 该方法适用于多种等级相关度量，包括Hoeffding的$D$、Blum-Kiefer-Rosenblatt的$R$和$\alpha^*$，确保广泛应用性。
• 在独立性的零假设下，检验为无分布的，无需置换程序。
• 在高斯拷贝模型下推导理论保证，表明对稀疏替代假设具有速率最优性。
• 该方法利用三种等级相关系数在零假设下的渐近等价性，导出了它们之间的新恒等式。

实验结果

研究问题

• RQ1 能否构建一种高维独立性检验，能一致检测非线性、非单调依赖关系，且无需依赖置换重采样？
• RQ2 成对等级相关系数的最大值在独立性的零假设下是否渐近无分布？
• RQ3 在高斯拷贝模型下，所提检验对高维数据中的稀疏替代假设是否具有速率最优性？
• RQ4 在零假设下，Hoeffding的$D$、Blum-Kiefer-Rosenblatt的$R$与Bergsma-Dassios-Yanagimoto的$\alpha^*$是否具有更深层次的统计恒等式？
• RQ5 能否在高维设定下为退化U统计量建立Cramér型中偏差定理，以支持推断？

主要发现

• 基于成对等级相关系数最大值的所提检验在独立性的零假设下为无分布的，可实现无需置换的精确推断。
• 该方法在高斯拷贝模型下对稀疏替代假设实现了速率最优性，与高维检测的理论下限一致。
• 建立了Hoeffding的$D$、Blum-Kiefer-Rosenblatt的$R$与Bergsma-Dassios-Yanagimoto的$\alpha^*$之间的新恒等式，为这些等级相关度量提供了统一视角。
• 理论框架依赖于一个新颖的退化U统计量的Cramér型中偏差定理，该定理可在高维设定下实现精确的尾部概率近似。
• 该检验无需置换即可实现，显著提升了高维数据分析中的计算效率。