[论文解读] A Conditional Dependence Measure with Applications to Undirected Graphical Models

Jianqing Fan, Yang Feng+1 more|arXiv (Cornell University)|Jan 7, 2015

Advanced Statistical Methods and Models参考文献 29被引用 3

一句话总结

本文提出了一种新型的条件依赖度量方法，用于无向图模型，通过调整可观测因子后的距离协方差实现。该方法推导出一个渐近有效的假设检验，其原假设分布不受因子载荷估计误差的根-n阶影响，从而实现严格显著性水平控制下的高效、精确的依赖图构建。

ABSTRACT

Measuring conditional dependence is an important topic in statistics with broad applications including graphical models. Under a factor model setting, a new conditional dependence measure is proposed. The measure is derived by using distance covariance after adjusting the common observable factors or covariates. The corresponding conditional independence test is given with the asymptotic null distribution unveiled. The latter gives a somewhat surprising result: the estimating errors in factor loading matrices, while of root$-n$ order, do not have material impact on the asymptotic null distribution of the test statistic, which is also in the root$-n$ domain. It is also shown that the new test has strict control over the asymptotic significance level and can be calculated efficiently. A generic method for building dependency graphs using the new test is elaborated. Numerical results and real data analysis show the superiority of the new method.

研究动机与目标

• 为解决在存在未观测或可观测潜因子的高维数据中测量条件依赖性的挑战。
• 开发一种条件独立性检验方法，即使在因子载荷估计存在误差的情况下，仍能保持准确的渐近显著性水平。
• 通过所提出的方法，实现无向图模型中高效且可靠的依赖图构建。
• 通过数值研究和真实数据应用，展示该方法的优越性。

提出的方法

• 提出一种因子调整的距离协方差度量方法，用于在消除可观测共同因子影响后评估条件依赖性。
• 在条件独立性假设下，推导出检验统计量的渐近原假设分布。
• 证明尽管因子载荷矩阵的估计误差为根-n阶，但不会影响渐近原假设分布。
• 开发一种通用算法，用于使用所提出的条件独立性检验构建依赖图。
• 采用无需重采样的方法计算检验统计量，确保计算效率。
• 利用渐近原假设分布，理论保证显著性水平的控制。

实验结果

研究问题

• RQ1 能否构建一种对因子载荷估计误差具有鲁棒性的条件依赖度量？
• RQ2 当因子载荷以根-n阶误差估计时，检验统计量的渐近原假设分布是否仍然有效？
• RQ3 所提出的方法能否在条件独立性检验中实现对渐近显著性水平的严格控制？
• RQ4 该方法在构建依赖图方面与现有方法相比表现如何？
• RQ5 该方法能否高效应用于具有高维、因子依赖结构的真实世界数据？

主要发现

• 尽管因子载荷矩阵的估计误差为根-n阶，检验统计量的渐近原假设分布仍保持不变。
• 所提出检验能严格控制渐近显著性水平，确保可靠推断。
• 该方法可实现无需重采样程序的检验统计量高效计算。
• 数值结果和真实数据分析表明，该方法在检测条件依赖性方面优于现有方法。
• 使用所提出检验构建的依赖图在存在潜因子的高维环境中表现出更高的准确性和鲁棒性。