[论文解读] High Dimensional Semiparametric Latent Graphical Model for Mixed Data

Jianqing Fan, Han Liu+2 more|arXiv (Cornell University)|Apr 29, 2014

Statistical Methods and Inference参考文献 50被引用 4

一句话总结

本文提出了一种用于混合数据的高维半参数潜变量高斯Copula模型，其中二值变量和离散变量被假定为来自具有高斯Copula依赖结构的潜连续变量。通过基于秩的估计方法，该方法在潜变量可观测的假设下实现了精度矩阵和特征向量估计的最优收敛速率，从而在高维设置下实现了图结构的一致恢复和稀疏主成分分析。

ABSTRACT

Graphical models are commonly used tools for modeling multivariate random variables. While there exist many convenient multivariate distributions such as Gaussian distribution for continuous data, mixed data with the presence of discrete variables or a combination of both continuous and discrete variables poses new challenges in statistical modeling. In this paper, we propose a semiparametric model named latent Gaussian copula model for binary and mixed data. The observed binary data are assumed to be obtained by dichotomizing a latent variable satisfying the Gaussian copula distribution or the nonparanormal distribution. The latent Gaussian model with the assumption that the latent variables are multivariate Gaussian is a special case of the proposed model. A novel rank-based approach is proposed for both latent graph estimation and latent principal component analysis. Theoretically, the proposed methods achieve the same rates of convergence for both precision matrix estimation and eigenvector estimation, as if the latent variables were observed. Under similar conditions, the consistency of graph structure recovery and feature selection for leading eigenvectors is established. The performance of the proposed methods is numerically assessed through simulation studies, and the usage of our methods is illustrated by a genetic dataset.

研究动机与目标

• 为解决在高维图形模型中对混合数据（连续变量与离散变量）进行建模的挑战。
• 开发一种半参数方法，将离散变量建模为具有高斯Copula依赖结构的潜连续变量的右删失版本。
• 实现对潜变量之间条件独立结构的一致估计，从而提供比观测变量依赖关系更深入的洞察。
• 在高维、小样本设置下，为潜变量图结构估计和稀疏主成分分析建立理论保证。
• 提供一种基于秩的推断方法，其收敛速率与潜变量直接可观测时相同。

提出的方法

• 提出一种潜变量高斯Copula模型，其中观测到的离散变量由具有高斯Copula结构的潜连续变量通过阈值化生成。
• 使用基于秩的统计量估计潜相关矩阵和精度矩阵，而无需对边缘分布的参数形式做假设。
• 应用基于秩的图形Lasso方法进行潜变量图结构估计，利用Kendall’s tau近似潜相关性。
• 开发一种基于秩的稀疏主成分分析方法，在稀疏性假设下估计潜协方差矩阵的主导特征向量。
• 理论分析表明，精度矩阵和特征向量估计器的收敛速率与完全可观测潜变量时达到的速率一致。
• 利用浓度不等式和矩阵扰动理论，建立图结构恢复和特征选择的一致性。

实验结果

研究问题

• RQ1 基于秩的半参数潜变量模型能否在高维设置下有效处理混合数据类型（连续与离散）？
• RQ2 当潜变量可观测时，基于秩的潜相关性估计是否能达到与参数方法相同的收敛速率？
• RQ3 所提出的方法能否一致地恢复潜变量之间真实的条件独立结构（图结构）？
• RQ4 在稀疏性假设下，基于秩的稀疏主成分分析方法在多大程度上能恢复真实的主导特征向量？
• RQ5 该方法对高斯Copula假设的偏离有多鲁棒，特别是在离散或计数数据中？

主要发现

• 所提出的基于秩的方法在精度矩阵和特征向量估计中实现了与潜变量直接可观测时相同的收敛速率。
• 该方法确保了潜图结构的一致恢复和主导特征向量的正确特征选择，且概率趋近于1。
• 潜相关矩阵的估计误差以高概率被控制在 O(√(log d / n)) 以内，其中 d 为维度，n 为样本量。
• 该方法实现了模型选择一致性：真精度矩阵支撑集被恢复的概率大于 1 - d⁻¹。
• 理论结果证实，基于秩的方法对未知边缘分布具有鲁棒性，并在温和正则性条件下保持最优收敛速率。
• 模拟研究和一个真实的遗传数据集表明，该方法在有限样本下表现出色，且在高维混合数据分析中具有强实际应用价值。