[论文解读] A Projection Based Conditional Dependence Measure with Applications to High-dimensional Undirected Graphical Models

Jianqing Fan, Yang Feng+1 more|arXiv (Cornell University)|Jan 7, 2015

Advanced Statistical Methods and Models参考文献 56被引用 9

一句话总结

本文在因子模型框架下，为高维无向图模型提出了一种基于投影的条件依赖度量方法。通过估计非参数回归的残差并应用距离协方差检验，该方法在高维因子下仍能实现渐近有效的第一类错误控制和高效计算，其可扩展性和检验效能优于现有非参数检验方法。

ABSTRACT

Measuring conditional dependence is an important topic in statistics with broad applications including graphical models. Under a factor model setting, a new conditional dependence measure based on projection is proposed. The corresponding conditional independence test is developed with the asymptotic null distribution unveiled where the number of factors could be high-dimensional. It is also shown that the new test has control over the asymptotic significance level and can be calculated efficiently. A generic method for building dependency graphs without Gaussian assumption using the new test is elaborated. Numerical results and real data analysis show the superiority of the new method.

研究动机与目标

• 开发一种计算高效且渐近有效的条件独立性检验方法，适用于潜在因子数量可能发散的高维数据。
• 解决现有非参数条件独立性检验方法在高维下计算成本高且自展程序复杂的局限性。
• 在不假设正态性或参数形式的前提下，实现高维环境下依赖图的构建。
• 在较弱的正则性条件下，建立第一类错误控制与收敛速率的理论保证。

提出的方法

• 提出两步法：首先，在因子模型框架下，通过变量对共同因子的非参数回归估计残差。
• 其次，对估计的残差应用基于距离协方差的检验以评估条件独立性。
• 采用基于投影的检验统计量，利用因子模型的结构实现降维并提升计算效率。
• 在因子数量可随样本量增长的假设下，推导检验统计量的渐近零分布。
• 在较弱正则性条件下（包括误差项与观测因子的独立性）建立检验的一致性。
• 采用基于条件独立性检验的通用图构建算法，构建无向依赖图，且无需正态性假设。

实验结果

研究问题

• RQ1 能否为潜在因子数量可能发散的高维数据，开发一种计算高效且渐近有效的条件独立性检验？
• RQ2 当因子数量随样本量增加时，所提出的基于投影的检验是否仍能保持渐近第一类错误率的控制？
• RQ3 在功效与计算可扩展性方面，该方法相较于现有非参数条件独立性检验的性能如何？
• RQ4 该方法能否在不假设多元正态性的情况下，用于构建高维环境下的可靠依赖图？
• RQ5 在条件独立性的零假设下，检验统计量的理论收敛速率与渐近性质是什么？

主要发现

• 所提出的检验即使在因子数量随样本量发散时，也能实现渐近第一类错误率的控制。
• 检验统计量以 $ O_p(n^{-1/2} a_n ext{ 或 } a_n^2 ext{ with } a_n o 0) $ 的速率收敛，确保在零假设下的的一致性。
• 该方法计算高效，避免了先前非参数检验所需的复杂自展程序。
• 数值研究与真实数据分析表明，该方法在检测条件依赖关系方面优于现有方法。
• 在高维设置下，尤其当因子数量较大时，该检验保持了良好的统计功效。
• 理论结果证实，检验统计量的渐近分布可在零假设下被良好近似，从而支持有效的统计推断。