[论文解读] Distance-based and RKHS-based Dependence Metrics in High Dimension

Changbo Zhu, Shun Yao+2 more|arXiv (Cornell University)|Feb 8, 2019

Statistical Methods and Inference参考文献 40被引用 10

一句话总结

本文揭示了距离协方差与希尔伯特-施мид特独立性核（HSIC）在高维设置下效能下降的原因，是因为它们通过分量间的交叉协方差仅能捕捉线性依赖关系。为克服此问题，作者提出聚合边际距离/HSIC协方差，显著提升了在样本大小固定而维度随样本增长时对非线性、非单调依赖关系的检测能力。

ABSTRACT

In this paper, we study distance covariance, Hilbert-Schmidt covariance (aka Hilbert-Schmidt independence criterion [Gretton et al. (2008)]) and related independence tests under the high dimensional scenario. We show that the sample distance/Hilbert-Schmidt covariance between two random vectors can be approximated by the sum of squared componentwise sample cross-covariances up to an asymptotically constant factor, which indicates that the distance/Hilbert-Schmidt covariance based test can only capture linear dependence in high dimension. As a consequence, the distance correlation based t-test developed by Szekely and Rizzo (2013) for independence is shown to have trivial limiting power when the two random vectors are nonlinearly dependent but component-wisely uncorrelated. This new and surprising phenomenon, which seems to be discovered for the first time, is further confirmed in our simulation study. As a remedy, we propose tests based on an aggregation of marginal sample distance/Hilbert-Schmidt covariances and show their superior power behavior against their joint counterparts in simulations. We further extend the distance correlation based t-test to those based on Hilbert-Schmidt covariance and marginal distance/Hilbert-Schmidt covariance. A novel unified approach is developed to analyze the studentized sample distance/Hilbert-Schmidt covariance as well as the studentized sample marginal distance covariance under both null and alternative hypothesis. Our theoretical and simulation results shed light on the limitation of distance/Hilbert-Schmidt covariance when used jointly in the high dimensional setting and suggest the aggregation of marginal distance/Hilbert-Schmidt covariance as a useful alternative.

研究动机与目标

• 研究在维度 p 和 q 随固定样本大小 n 增长的高维渐近设置下，距离协方差与希尔伯特-施米特独立性核（HSIC）的行为。
• 识别为何基于联合距离/HSIC的独立性检验在高维中效能下降，尽管其在低维中能检测一般依赖关系。
• 提出一类新检验方法，通过聚合边际样本距离/HSIC协方差，以更好地检测高维设置下的非线性和非单调依赖关系。
• 建立统一的理论框架，用于分析在原假设与备择假设下，学生化样本距离/HSIC协方差及其边际版本的性质。
• 将 Székely 和 Rizzo（2013）提出的距离相关性 t 检验扩展至基于 HSIC 和基于边际的变体，提升在高维、小样本（HDLSS）场景下的效能。

提出的方法

• 推导出样本距离/HSIC协方差的渐近近似表达式，显示其为分量间样本交叉协方差平方和的总和，揭示其在高维下聚焦于线性依赖的特性。
• 提出基于边际样本距离/HSIC协方差聚合的检验统计量，以捕捉非线性、非单调依赖模式。
• 发展一种新颖的统一渐近理论，适用于在原假设与备择假设下，学生化样本距离/HSIC协方差及其边际版本的分布。
• 应用 U 统计量理论与渐近正态性结果，推导所提检验统计量在原假设下的极限分布。
• 将 Székely 和 Rizzo（2013）提出的距离相关性 t 检验扩展至基于 HSIC 和基于边际的版本，确保在高维下的理论有效性。
• 通过模拟研究比较联合检验与基于边际的检验的效能，证实聚合方法具有更优表现。

实验结果

研究问题

• RQ1 为何基于联合距离协方差与 HSIC 的独立性检验在高维设置下表现出平凡的极限效能，尽管其具有非参数性质？
• RQ2 在高维中，样本距离/HSIC协方差在多大程度上退化为仅测量分量间的线性依赖？
• RQ3 聚合边际样本距离/HSIC协方差是否能显著提升在高维数据中对非线性和非单调依赖关系检测的效能？
• RQ4 如何为学生化样本距离/HSIC协方差及其边际变体，在原假设与备择假设下建立统一的渐近理论？
• RQ5 当维度随固定样本大小增长时，所提出的边际聚合检验是否在效能上优于现有联合检验？

主要发现

• 两个高维随机向量之间的样本距离/HSIC协方差在渐近下退化为分量间交叉协方差平方和，表明其在高维中仅能捕捉线性依赖关系。
• Székely 和 Rizzo（2013）提出的基于距离相关性的 t 检验在真实依赖关系为非线性但分量间无相关性时，表现出平凡的极限效能，此现象此前未被报道。
• 所提出的基于边际距离/HSIC协方差聚合的检验在模拟中表现出显著优于联合检验的效能，尤其在非线性依赖情形下。
• 统一的渐近理论表明，学生化边际距离/HSIC协方差在原假设下收敛于正态分布，支持有效的统计推断。
• 将 t 检验扩展至基于 HSIC 和基于边际的版本，保持了渐近有效性，并在高维设置下提升了检验效能。
• 理论结果证实，检验统计量在原假设下的极限分布为标准正态分布，支持使用标准正态分布的临界值。