[论文解读] Latent variable model selection for Gaussian conditional random fields

Benjamin Frot, Luke Jostins+1 more|arXiv (Cornell University)|Dec 20, 2015

Gene expression and cancer classification参考文献 35被引用 3

一句话总结

本文提出了一种低秩加稀疏分解方法，用于在存在隐变量的情况下学习高斯条件随机场，采用正则化最大似然估计。该方法实现了稀疏一致的图恢复，在模拟实验和真实遗传数据应用中表现优于现有方法，展现出更高的生物学相关性及跨队列的可重复性。

ABSTRACT

We consider the problem of learning a conditional Gaussian graphical model in the presence of latent variables. Building on recent advances in this field, we suggest a method that decomposes the parameters of a conditional Markov random field into the sum of a sparse and a low-rank matrix. We derive convergence bounds for this estimator and show that it is well-behaved in the high-dimensional regime as well as "sparsistent" (i.e. capable of recovering the graph structure). We then show how proximal gradient algorithms and semi-definite programming techniques can be employed to fit the model to thousands of variables. Through extensive simulations, we illustrate the conditions required for identifiability and show that there is a wide range of situations in which this model performs significantly better than its counterparts, for example, by accommodating more latent variables. Finally, the suggested method is applied to two datasets comprising individual level data on genetic variants and metabolites levels. We show our results replicate better than alternative approaches and show enriched biological signal.

研究动机与目标

• 解决在隐变量混淆观测依赖关系时学习条件高斯图模型的挑战。
• 开发一种联合建模可观测变量在已知协变量条件下的方法，同时考虑未观测到的隐因子。
• 在 p > n 的高维设定下确保一致性和稀疏一致性。
• 在真实遗传和组学数据场景中，提升模型可识别性与性能，优于现有方法。

提出的方法

• 将响应变量的精度矩阵分解为稀疏分量（表示直接的条件依赖关系）和低秩分量（表示隐变量的影响）。
• 采用结合 l1-范数（用于稀疏性）和核范数（用于低秩结构）的正则化最大似然估计器。
• 使用邻近梯度算法和半定规划高效优化目标函数，可扩展至数千个变量。
• 应用交替方向乘子法（ADMM）以分布式且可扩展的方式求解优化问题。
• 引入稳定性选择与互补对，增强对调优参数选择的鲁棒性并改善误差控制。
• 推导理论收敛边界，并在适当的可识别性条件下建立一致性和稀疏一致性。

实验结果

研究问题

• RQ1 在 p > n 的高维设定下，能否一致地估计具有隐变量的条件高斯图模型？
• RQ2 在存在隐混杂因素的情况下，低秩加稀疏分解在何种条件下具有可识别性？
• RQ3 在真实遗传数据中，所提方法在图结构恢复和生物学相关性方面与现有方法相比如何？
• RQ4 该模型在遗传学研究中多大程度上提高了独立队列间结果的可重复性？
• RQ5 该方法对调优参数选择的敏感性如何？稳定性选择能否缓解其敏感性？

主要发现

• 在适当的可识别性条件下，所提出的估计器在高维设定下具有一致性和稀疏一致性。
• 在模拟实验中，该方法显著优于现有方法，尤其在存在多个隐变量时表现更优。
• 在 ALSPAC 遗传数据集中，LSCGGM 在母亲与儿童队列中均实现了最高的可重复率，且在稳定参数区域的数值高于对比方法。
• 通过独立来源验证和通路富集分析，该模型更有效地复制了生物学信号，优于其他替代方法。
• 与基于 lasso 的估计器相比，该方法对调优参数 γ 的敏感性更低，提升了实际可用性。
• 采用互补对的稳定性选择增强了方法的鲁棒性，并提供了误差控制，支持从高维数据中生成可靠的因果假设。