[论文解读] Joint estimation of sparse multivariate regression and conditional graphical models

Junhui Wang|arXiv (Cornell University)|Jun 19, 2013

Statistical Methods and Inference参考文献 31被引用 9

一句话总结

该论文提出了一种基于自适应Lasso惩罚条件对数似然的联合估计方法，用于稀疏多变量回归与条件高斯图形模型。该方法可同时估计稀疏回归系数与精度矩阵，在协变量与响应变量数量随样本量指数级增长时，仍能实现渐近模型选择一致性和渐近正态性。

ABSTRACT

Multivariate regression model is a natural generalization of the classical univari- ate regression model for fitting multiple responses. In this paper, we propose a high- dimensional multivariate conditional regression model for constructing sparse estimates of the multivariate regression coefficient matrix that accounts for the dependency struc- ture among the multiple responses. The proposed method decomposes the multivariate regression problem into a series of penalized conditional log-likelihood of each response conditioned on the covariates and other responses. It allows simultaneous estimation of the sparse regression coefficient matrix and the sparse inverse covariance matrix. The asymptotic selection consistency and normality are established for the diverging dimension of the covariates and number of responses. The effectiveness of the pro- posed method is also demonstrated in a variety of simulated examples as well as an application to the Glioblastoma multiforme cancer data.

研究动机与目标

• 通过在高维设置下引入多个响应之间的依赖结构，解决边际单变量回归的局限性。
• 克服标准多变量回归模型中忽略响应依赖性的低效性。
• 在协变量与响应维度发散的高维数据中，同时估计稀疏多变量回归系数与稀疏精度矩阵。
• 在高维渐近框架下，为回归与图模型两部分建立理论保证——选择一致性和渐近正态性。
• 提供一种计算高效的替代方案，避免先前联合估计方法中使用的交替优化策略。

提出的方法

• 将多变量回归问题表述为一系列条件对数似然，其中每个响应均以协变量和其他响应为条件进行建模。
• 在条件对数似然上应用自适应Lasso惩罚，以在多变量回归系数矩阵和精度矩阵中诱导稀疏性。
• 将联合估计分解为一系列扩展的自适应Lasso回归问题，可通过标准优化软件包求解。
• 采用两步估计策略：首先通过精度矩阵估计获得条件依赖结构，然后利用自适应权重优化回归系数。
• 在多变量正态分布假设下，利用条件独立性结构，通过高斯图形模型对响应依赖关系进行建模。
• 通过避免迭代交替优化，转而采用带自适应权重的直接惩罚似然框架，确保计算效率。

实验结果

研究问题

• RQ1 在高维设置下，能否实现稀疏多变量回归与条件图模型的联合估计，并保证理论一致性？
• RQ2 当协变量数量 $p$ 与响应数量 $q$ 相对于样本量 $n$ 呈指数级增长时，所提方法是否仍能保持选择一致性和渐近正态性？
• RQ3 在条件对数似然中使用自适应Lasso相比 $L_"infty$-范数或标准Lasso惩罚，如何提升估计效率与稀疏性？
• RQ4 该方法能否在高维数据中有效恢复真实的回归结构与条件依赖图？
• RQ5 与现有联合估计方法相比，该方法的有限样本表现与计算可扩展性如何？

主要发现

• 在维度发散的设定下，所提方法对多变量回归系数矩阵与精度矩阵均实现了渐近选择一致性。
• 已建立估计量的渐近正态性，其极限分布在正则性条件下收敛于正态分布。
• 即使协变量数量 $p$ 与响应数量 $q$ 相对于样本量 $n$ 呈指数级增长，方法仍保持一致性。
• 理论分析表明，随着样本量增加，正确识别真实模型结构的概率收敛于1。
• 在模拟数据上的数值实验表明，该方法在变量选择与估计精度方面优于现有竞争方法。
• 在胶质母细胞瘤（Glioblastoma multiforme）癌症数据上的应用揭示了具有生物学合理性的基因调控网络，并提升了预测准确性，验证了该方法的实际应用价值。