[论文解读] High dimensional consistent independence testing with maxima of rank correlations

Mathias Drton, Fang Han+1 more|arXiv (Cornell University)|Dec 14, 2018

Random Matrices and Applications参考文献 43被引用 6

一句话总结

本文提出了一类基于成对等级相关系数最大值的高维独立性检验——Hoeffding的$D$、Blum–Kiefer–Rosenblatt的$R$以及Bergsma–Dassios–Yanagimoto的$\tau^*$——利用关于退化U-统计量的新Cramér型中偏差定理。这些检验在连续边缘分布下具有分布自由性，无需置换即可实现，并在高维渐近下对稀疏替代假设表现出最优速率，其零分布收敛于Gumbel分布。

ABSTRACT

Testing mutual independence for high-dimensional observations is a fundamental statistical challenge. Popular tests based on linear and simple rank correlations are known to be incapable of detecting non-linear, non-monotone relationships, calling for methods that can account for such dependences. To address this challenge, we propose a family of tests that are constructed using maxima of pairwise rank correlations that permit consistent assessment of pairwise independence. Built upon a newly developed Cramér-type moderate deviation theorem for degenerate U-statistics, our results cover a variety of rank correlations including Hoeffding's $D$, Blum-Kiefer-Rosenblatt's $R$, and Bergsma-Dassios-Yanagimoto's $τ^*$. The proposed tests are distribution-free in the class of multivariate distributions with continuous margins, implementable without the need for permutation, and are shown to be rate-optimal against sparse alternatives under the Gaussian copula model. As a by-product of the study, we reveal an identity between the aforementioned three rank correlation statistics, and hence make a step towards proving a conjecture of Bergsma and Dassios.

研究动机与目标

• 开发一致的、能够检测非线性、非单调依赖关系的高维独立性检验。
• 解决线性与简单等级相关检验在捕捉复杂依赖结构方面的局限性。
• 为基于先进等级相关度量的最大值型检验建立理论基础。
• 在高维渐近下，证明所提检验对稀疏替代假设的最优速率。
• 揭示Hoeffding的$D$、Blum–Kiefer–Rosenblatt的$R$与Bergsma–Dassios–Yanagimoto的$\tau^*$之间的一个新恒等式。

提出的方法

• 将检验统计量构造为所有变量对之间成对等级相关估计值的最大值。
• 采用退化U-统计量来估计Hoeffding的$D$、Blum–Kiefer–Rosenblatt的$R$以及Bergsma–Dassios–Yanagimoto的$\tau^*$。
• 推导出关于退化U-统计量的新Cramér型中偏差定理，以建立渐近零分布。
• 证明在高维渐近下，这些等级相关系数的最大值依分布收敛于非标准的Gumbel分布。
• 在连续边缘分布下建立分布自由有效性，无需置换重抽样。
• 利用三个等级相关统计量之间的新恒等式，统一其理论处理。

实验结果

研究问题

• RQ1 基于高维等级相关性的最大值型检验是否能在高维设置下一致地检测成对依赖性？
• RQ2 在高维下，成对等级相关系数最大值的渐近零分布是什么？
• RQ3 在高斯Copula模型下，所提检验对稀疏替代假设是否具有最优速率？
• RQ4 Hoeffding的$D$、Blum–Kiefer–Rosenblatt的$R$与Bergsma–Dassios–Yanagimoto的$\tau^*$之间是否存在基本恒等式？
• RQ5 所提检验是否可在无需置换的情况下实现，同时保持精确的大小控制？

主要发现

• 在高维渐近下，成对等级相关系数最大值的零分布收敛于非标准的Gumbel分布。
• 所提检验在连续边缘分布下具有分布自由性，且无需置换即可实现大小控制。
• 在高斯Copula模型下，所提检验对稀疏替代假设表现出最优速率，达到极小极大最优速率。
• 经验功效模拟显示，所提检验在稀疏依赖设置下始终优于对比方法，尤其在基于$\tau^*$的检验中表现更优。
• 三个等级相关度量——$D$、$R$与$\tau^*$——满足一个新恒等式，支持Bergsma与Dassios的猜想。
• 所提检验在各种$n$与$p$设置下保持经验大小接近名义水平（如0.05），且功效随信号强度$\alpha$单调递增。