[论文解读] Exact Detection Thresholds for Chatterjee's Correlation

Arnab Auddy, Nabarun Deb+1 more|arXiv (Cornell University)|Apr 30, 2021

Bayesian Methods and Mixture Models参考文献 33被引用 7

一句话总结

本文在非参数替代假设以非标准速率收敛于零假设的条件下，建立了查特吉基于秩次的独立性检验的精确检测阈值和极限功效。利用二阶Poincaré不等式与非渐近投影定理，推导出非标准的 $n^{-1/4}$ 检测边界，并计算了混合模型、旋转模型及噪声非参数回归模型的显式局部功效。

ABSTRACT

Recently, Chatterjee (2021) introduced a new rank-based correlation coefficient which can be used to test for independence between two random variables. His test has already attracted much attention as it is distribution-free, consistent against all fixed alternatives, asymptotically normal under the null hypothesis of independence and computable in (near) linear time; thereby making it appropriate for large-scale applications. However, not much is known about the power properties of this test beyond consistency against fixed alternatives. In this paper, we bridge this gap by obtaining the asymptotic distribution of Chatterjee's correlation under any changing sequence of alternatives converging to the null hypothesis (of independence). We further obtain a general result that gives exact detection thresholds and limiting power for Chatterjee's test of independence under natural nonparametric alternatives converging to the null. As applications of this general result, we prove a non-standard $n^{-1/4}$ detection boundary for this test and compute explicitly the limiting local power on the detection boundary, for popularly studied alternatives in literature such as mixture models, rotation models and noisy nonparametric regression. Moreover our convergence results provide explicit finite sample bounds that depend on the distance between the null and the alternative. Our proof techniques rely on second order Poincare type inequalities and a non-asymptotic projection theorem.

研究动机与目标

• 解决对查特吉相关检验在固定替代假设之外的统计功效特性理解不足的问题。
• 推导在替代假设序列收敛于零假设独立性时，查特吉相关系数的渐近分布。
• 在一般非参数替代假设趋近于独立性时，建立查特吉检验的精确检测阈值与极限功效。
• 提供依赖于零假设与替代假设分布之间距离的显式有限样本界。
• 将一般结果应用于具体模型，如混合模型、旋转模型及噪声非参数回归模型。

提出的方法

• 利用二阶Poincaré型不等式，推导在替代假设序列收敛于零假设时，查特吉相关系数的渐近分布。
• 应用非渐近投影定理，控制检验统计量与其渐近分布之间的偏离。
• 使用一般框架，刻画在非参数替代假设趋近于独立性时的检测阈值。
• 通过分析替代假设向零假设收敛的速度，计算检测边界上的极限局部功效。
• 通过推导极限功效的显式表达式，将理论框架应用于具体模型——混合模型、旋转模型及噪声非参数回归模型。
• 建立有限样本界，量化零假设与替代假设之间的距离，具体取决于模型结构。

实验结果

研究问题

• RQ1 当替代假设以非标准速率收敛于零假设时，查特吉相关检验的精确检测阈值是什么？
• RQ2 在 $n^{-1/4}$ 检测边界上，查特吉检验的极限局部功效在常见非参数模型中的表现如何？
• RQ3 依赖于零假设与替代假设分布之间距离的有限样本界是什么？
• RQ4 二阶Poincaré不等式与非渐近投影在推导局部替代假设下的渐近分布中起到何种作用？
• RQ5 当替代假设趋近于独立性时，查特吉检验在混合模型、旋转模型及噪声非参数回归模型下的极限功效是什么？

主要发现

• 本文建立了查特吉检验的非标准 $n^{-1/4}$ 检测边界，表明替代假设必须以该速率收敛于零假设才能被检测到。
• 计算了在 $n^{-1/4}$ 检测边界上，查特吉检验在混合模型、旋转模型及噪声非参数回归模型中的显式极限局部功效。
• 推导了在任意收敛于零假设独立性的替代假设序列下，查特吉相关系数的渐近分布。
• 提供了依赖于零假设与替代假设分布之间距离的有限样本界，提供了实际性能保证。
• 利用二阶Poincaré不等式与非渐近投影定理，实现了对局部替代假设下检验行为的精确控制。
• 结果表明，即使在替代假设缓慢收敛时，查特吉检验仍保持非平凡的功效，验证了其在大规模场景中的实用性。