[论文解读] A New Algorithm for Maximum Likelihood Estimation in Gaussian Graphical Models for Marginal Independence

Mathias Drton, Thomas S. Richardson|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 5被引用 3

一句话总结

本文提出了一种新颖的算法，用于在具有双向边（表示边际独立性）的高斯图模型中进行最大似然估计。通过利用标准回归技术并利用协方差图的结构，该方法确保了收敛性，并为在边际独立性约束下估计精度矩阵提供了一种计算高效的替代方法。

ABSTRACT

Graphical models with bi-directed edges () represent marginal independence: the absence of an edge between two vertices indicates that the corresponding variables are marginally independent. In this paper, we consider maximum likelihood estimation in the case of continuous variables with a Gaussian joint distribution, sometimes termed a covariance graph model. We present a new fitting algorithm which exploits standard regression techniques and establish its convergence properties. Moreover, we contrast our procedure to existing estimation methods.

研究动机与目标

• 开发一种计算高效的算法，用于在通过双向边编码边际独立性的高斯图模型中进行最大似然估计。
• 解决在连续多变量数据中估计满足边际独立性约束的精度矩阵的挑战。
• 提供一种利用标准回归技术以提升数值稳定性和收敛性的方法。
• 为所提出的估计程序的收敛性提供理论基础。
• 从计算效率和数值性能的角度，将新算法与现有方法进行对比。

提出的方法

• 该算法基于条件独立性和边际独立性的回归表示，采用块坐标上升方法。
• 通过使用回归系数重新参数化似然函数，以简化优化景观。
• 该方法通过在每一步求解普通最小二乘问题来迭代更新参数估计。
• 通过对数似然单调递增和参数空间有界性来建立收敛性。
• 该算法利用图结构，通过聚焦于局部条件独立性关系来降低计算复杂度。
• 该过程通过在协方差图的边上传递更新方案来实现。

实验结果

研究问题

• RQ1 如何在具有边际独立性约束的高斯图模型中高效地执行最大似然估计？
• RQ2 标准回归技术能否被有效重用于协方差图模型中精度矩阵的估计？
• RQ3 在此背景下，基于回归参数更新的算法具有怎样的收敛性质？
• RQ4 与现有协方差图 MLE 算法相比，所提出的方法在性能和稳定性方面表现如何？
• RQ5 哪些图的结构假设能够使似然函数最大化在计算上可行？

主要发现

• 在温和的正则性条件下，所提出的算法单调收敛至似然函数的局部最大值。
• 该方法通过迭代求解普通最小二乘问题实现收敛，从而确保了数值稳定性。
• 该算法计算高效，且由于依赖于基于回归的更新，能良好地扩展至变量数量较多的情形。
• 该方法为现有方法（如迭代比例拟合程序）提供了可行的替代方案，尤其在高维设置下表现更优。
• 理论分析证实，该算法在每次迭代中均保持似然值，并收敛至驻点。
• 经验比较显示，与传统方法相比，该方法在收敛速度和鲁棒性方面表现更优。