[论文解读] Network inference in matrix-variate Gaussian models with non-independent noise

Andrew Dahl, Victoria Hore+2 more|arXiv (Cornell University)|Dec 5, 2013

Bioinformatics and Genomic Networks参考文献 10被引用 5

一句话总结

该论文提出了一种计算高效的EM算法，用于在具有非独立同分布（non-i.i.d.）噪声的矩阵变量子高斯模型中进行网络推断，将KronGlasso方法扩展以处理一般噪声结构。通过同时建模遗传相关性（通过已知的$ R $）和非独立噪声（通过可学习的$ D $），该方法在噪声具有结构特征时显著提升了网络重建的准确性，尤其在模拟实验中使用Wishart和AR(1)等现实噪声矩阵时表现突出。

ABSTRACT

Inferring a graphical model or network from observational data from a large number of variables is a well studied problem in machine learning and computational statistics. In this paper we consider a version of this problem that is relevant to the analysis of multiple phenotypes collected in genetic studies. In such datasets we expect correlations between phenotypes and between individuals. We model observations as a sum of two matrix normal variates such that the joint covariance function is a sum of Kronecker products. This model, which generalizes the Graphical Lasso, assumes observations are correlated due to known genetic relationships and corrupted with non-independent noise. We have developed a computationally efficient EM algorithm to fit this model. On simulated datasets we illustrate substantially improved performance in network reconstruction by allowing for a general noise distribution.

研究动机与目标

• 解决现有方法在多表型遗传数据中假设噪声独立同分布（i.i.d.）的局限性。
• 开发完整的EM算法，联合估计遗传网络（稀疏精度矩阵$ C $）和噪声结构（精度矩阵$ D $）在矩阵变量子模型中的参数。
• 通过建模非i.i.d.噪声来提升网络重建准确性，因为此类噪声在真实遗传数据集中普遍存在，通常由混杂因素或测量依赖性引起。
• 通过利用Kronecker积结构和线性代数优化，实现在高维设置下的高效推断。

提出的方法

• 将观测数据矩阵$ Y $建模为两个矩阵变量子正态分布分量之和：$ Z \thicksim \text{MN}(0, R^{-1}, C^{-1}) $ 和 $ \boldsymbol{\rho} \thicksim \text{MN}(0, I, D^{-1}) $，其中$ R $为已知，$ C $假设为稀疏。
• 开发完整的EM算法，通过交替执行$ Z $的条件期望计算（E步）和关于$ C $与$ D $的期望对数似然最大化（M步），并使用一般凸惩罚。
• 采用高效的线性代数技术计算E步，复杂度为$ O(NP^2 + P^3) $，从而实现对中等规模$ N $和$ P $的可扩展性。
• 对$ C $采用$ \boldsymbol{\rho} $-惩罚估计，使用图模型Lasso（L1惩罚），并可选地通过$ \boldsymbol{\rho} $-惩罚扩展至稀疏$ D $。
• 使用BIC或样本外似然等模型选择准则，比较i.i.d.与非i.i.d.噪声模型之间的选择。
• 将算法扩展以处理$ C $的低秩加稀疏分解，从而能够同时建模混杂因素（低秩）和因果关系（稀疏）结构。

实验结果

研究问题

• RQ1 在矩阵变量子高斯模型中，若建模非i.i.d.噪声，是否能显著优于假设i.i.d.噪声的网络重建性能？
• RQ2 在Wishart和AR(1)等现实噪声结构下，所提出的EM算法与Glasso和KronGlasso等现有方法相比表现如何？
• RQ3 允许使用一般噪声精度矩阵$ D $在多大程度上可减少推断遗传网络中的假阳性边检测？
• RQ4 EM框架能否扩展为同时学习$ R $、$ C $和$ D $？其中涉及的计算与统计权衡为何？

主要发现

• 当噪声为非i.i.d.时，所提出的EM算法在网络重建性能上显著优于KronGlasso和Glasso，尤其在Wishart或AR(1)等结构化噪声下表现更优。
• 在Wishart分布噪声和1%稀疏$ C $的模拟数据中，G3M能恢复绝大多数真实边，且未引入大量误导性假阳性边，而Glasso和KronGlasso则存在此问题。
• G3M的ROC曲线在所有功效水平下均表现更优，当噪声为非i.i.d.时，曲线下面积（AUC）显著高于基线方法。
• 在$ D $实际为稀疏时，对$ D $引入$ \boldsymbol{\rho} $-惩罚可提升性能，恢复了在$ D $为密集情况下的大部分次优性。
• 该算法的E步具有$ O(NP^2 + P^3) $的计算复杂度，使其在$ N $和$ P $为数百的中等规模遗传数据集中具有可行性。
• 通过BIC或样本外似然进行的模型选择能可靠识别是否需要建模非i.i.d.噪声，支持在实践中采用更灵活的模型。