[论文解读] Learning Directed Graphical Models from Gaussian Data

Katherine Fitch|arXiv (Cornell University)|Jun 19, 2019

Bayesian Modeling and Causal Inference参考文献 24被引用 6

一句话总结

本文提出了高斯图交互模型（GGIM），这是一种新颖的高斯图模型，通过图上的平稳高斯过程定义有向条件独立性，利用李雅普诺夫方程将协方差矩阵与拉普拉斯矩阵关联，从而实现有向图结构建模。核心贡献是一种基于LASSO的稀疏GGIM学习方法，理论分析表明其等价于标准$l_1$-惩罚逆协方差估计，从而实现了超越传统无向高斯图模型（GGM）的有向、循环及稀疏图建模。

ABSTRACT

In this paper, we introduce a new directed graphical model from Gaussian data: the Gaussian graphical interaction model (GGIM). The development of this model comes from considering stationary Gaussian processes on graphs, and leveraging the equations between the resulting steady-state covariance matrix and the Laplacian matrix representing the interaction graph. Through the presentation of conceptually straightforward theory, we develop the new model and provide interpretations of the edges in the graphical model in terms of statistical measures. We show that when restricted to undirected graphs, the Laplacian matrix representing a GGIM is equivalent to the standard inverse covariance matrix that encodes conditional dependence relationships. Furthermore, our approach leads to a natural definition of directed conditional independence of two elements in a stationary Gaussian process. We demonstrate that the problem of learning sparse GGIMs for a given observation set can be framed as a LASSO problem. By comparison with the problem of inverse covariance estimation, we prove a bound on the difference between the covariance matrix corresponding to a sparse GGIM and the covariance matrix corresponding to the $l_1$-norm penalized maximum log-likelihood estimate. Finally, we consider the problem of learning GGIMs associated with sparse directed conditional dependence relationships. In all, the new model presents a novel perspective on directed relationships between variables and significantly expands on the state of the art in Gaussian graphical modeling.

研究动机与目标

• 开发一种新型框架，用于建模高斯图模型中变量间的有向交互关系，克服无向GGM和贝叶斯网络等基于DAG模型的局限性。
• 通过图上的平稳高斯过程及其稳态协方差矩阵，定义一致的有向条件独立性概念。
• 利用$l_1$-正则化优化方法，实现稀疏、有向图结构（包括循环关系）的学习。
• 建立新模型与经典逆协方差估计之间的理论联系，证明所得协方差矩阵估计的误差界。
• 通过Moore-Penrose广义逆矩阵和投影重构方法，将模型扩展至半正定协方差矩阵。

提出的方法

• 通过将数据协方差矩阵建模为有向图上平稳高斯过程的稳态协方差，形式化GGIM。
• 通过李雅普诺夫方程$L\boldsymbol{\rm \Sigma} + \boldsymbol{\rm \Sigma}L^T = 2I$，推导出交互图拉普拉斯矩阵$L$与协方差矩阵$\boldsymbol{\rm \Sigma}$之间的关系。
• 通过拉普拉斯矩阵的结构定义有向条件独立性，其中边的方向反映过程动力学中的非对称影响。
• 通过在李雅普诺夫约束下最小化$\|L\|_1$，将稀疏GGIM的学习问题重新表述为LASSO型优化问题。
• 对于秩亏协方差矩阵，使用$Q$将投影到全1向量的正交补空间，并在降维空间中重构李雅普诺夫方程。
• 通过约束优化方法估计拉普拉斯矩阵$\hat{L}$，从而唯一恢复出$\hat{\Psi}$（投影分量）和$\hat{\kappa}$（反对称分量）。

实验结果

研究问题

• RQ1 能否基于图上的平稳过程，为高斯图模型定义一致的有向条件独立性概念？
• RQ2 如何从i.i.d.高斯观测数据中学习有向、可能含循环的交互图结构？
• RQ3 GGIM与经典逆协方差估计在估计误差和稀疏性方面有何关系？
• RQ4 GGIM的学习问题能否被表述为适合LASSO式正则化的凸优化问题？
• RQ5 如何将模型扩展以处理具有秩亏的半正定样本协方差矩阵？

主要发现

• GGIM框架基于平稳高斯过程的动力学，自然地定义了有向条件独立性，与GGM中的无向条件独立性有本质区别。
• 当限制在无向图时，GGIM的拉普拉斯矩阵退化为标准逆协方差矩阵，与经典GGM保持一致。
• 稀疏GGIM的学习问题等价于求解LASSO问题，可通过成熟算法实现高效计算。
• 本文证明了通过GGIM估计的协方差矩阵与$l_1$-惩罚最大似然估计之间的差异存在理论界，确保了估计的稳定性。
• 对于半正定协方差矩阵，模型通过投影矩阵和Moore-Penrose广义逆矩阵，在降维子空间中重构李雅普诺夫方程，保持了一致性。
• 估计的拉普拉斯矩阵$\hat{L}$唯一确定了投影矩阵$\hat{\Psi}$和反对称分量$\hat{\kappa}$，从而实现交互图结构的完整重构。