[论文解读] Distribution-Free Tests of Independence with Applications to Testing More Structures

Fang Han, Han Liu|arXiv (Cornell University)|Oct 15, 2014

Random Matrices and Applications参考文献 69被引用 13

一句话总结

本文提出了一种基于秩的无分布检验统计量，用于在 d 维随机向量中检验相互独立性，基于 n 个独立同分布样本。研究证明，这些检验（包括基于 Kendall’s tau 和 Spearman’s rho 的检验）在速率上是最优的，当最大成对相关系数超过 C√(log d / n) 时，检验功效趋于 1，其中 C 为绝对常数；并进一步将该框架扩展至检验 m-依赖性和数据同质性。

ABSTRACT

We consider the problem of testing mutual independence of all entries in a d-dimensional random vector X = (X1,..., Xd) T based on n independent observations. For this, we consider two families of distribution-free test statistics that converge weakly to an extreme value type I distribution. We further study the powers of the corresponding tests against certain alternatives. In particular, we show that the powers tend to one when the maximum magnitude of the pairwise Pearson’s correlation coefficients is larger than C log d/n for some absolute constant C. This result is rate optimal. As important examples, we show that the tests based on Kendall’s tau and Spearman’s rho are rate optimal tests of independence. For further generalization, we consider accelerating the rate of convergence via approximating the exact distributions of the test statistics. We also study the tests of two more structural hypotheses: m-dependence and data homogeneity. For these, we propose two rank-based tests and show their optimality.

研究动机与目标

• 开发高维随机向量中相互独立性的无分布检验方法，无需假设参数分布。
• 在弱依赖假设下，建立基于秩的检验统计量的速率最优性。
• 将该框架扩展至检验额外的结构假设，如 m-依赖性和数据同质性。
• 通过分布近似技术加速收敛至精确零分布。

提出的方法

• 提出两类基于秩相关性的无分布检验统计量（如 Kendall’s tau 和 Spearman’s rho），用于检验 d 维向量中的相互独立性。
• 在相互独立的零假设下，证明检验统计量的弱收敛性趋于 I 型极值分布。
• 通过分析在替代假设下最大成对皮尔逊相关系数超过 C√(log d / n) 时检验统计量的行为，推导渐近功效结果。
• 引入分布近似方法，以加速收敛至精确零分布，从而改善小样本性能。
• 将检验框架适配至结构假设：m-依赖性和数据同质性，使用类似的基于秩的统计量。
• 通过证明在最小信号强度条件下检验功效趋于 1，表明所提检验的最优性。

实验结果

研究问题

• RQ1 在弱依赖假设下，用于检验相互独立性的基于秩的检验统计量是否无分布且速率最优？
• RQ2 检验达到渐近功效为 1 所需的最小信号强度是什么？该速率是否最优？
• RQ3 能否通过分布近似方法加速检验统计量收敛至其零分布？
• RQ4 该框架能否扩展至检验 m-依赖性和数据同质性，并保持类似的最优性保证？

主要发现

• 基于 Kendall’s tau 和 Spearman’s rho 的所提检验在检验相互独立性方面是速率最优的。
• 当最大成对皮尔逊相关系数的绝对值超过 C√(log d / n) 时，检验功效趋于 1，其中 C 为某绝对常数。
• 在相互独立的零假设下，检验统计量弱收敛于 I 型极值分布。
• 该框架成功扩展至使用类似基于秩的统计量检验 m-依赖性和数据同质性。
• 分布近似方法被证明可加速收敛至精确零分布，从而改善小样本性能。
• 研究结果在高维设定下建立了依赖性可检测性的精确阈值，与已知的 minimax 下界一致。