[论文解读] Model Selection Through Sparse Maximum Likelihood Estimation for Multivariate Gaussian or Binary Data

Onureena Banerjee, Laurent El Ghaoui+1 more|arXiv (Cornell University)|Jan 1, 2007

Statistical Methods and Inference被引用 5

一句话总结

本文提出了一种基于l1-范数正则化的稀疏最大似然估计方法，用于高斯和二值的马尔可夫随机场模型，通过该方法实现精度矩阵的稀疏性。该研究引入了两种高效算法——块坐标下降法和内沃罗夫的一阶方法，能够扩展到数千个节点，实现高维模型选择，具有可证明的收敛性，并在计算复杂度上优于内点法。

ABSTRACT

We consider the problem of estimating the parameters of a Gaussian or binary distribution in such a way that the resulting undirected graphical model is sparse. Our approach is to solve a maximum likelihood problem with an added l1-norm penalty term. The problem as formulated is convex but the memory requirements and complexity of existing interior point methods are prohibitive for problems with more than tens of nodes. We present two new algorithms for solving problems with at least a thousand nodes in the Gaussian case. Our first algorithm uses block coordinate descent, and can be interpreted as recursive l1-norm penalized regression. Our second algorithm, based on Nesterov’s first order method, yields a complexity estimate with a better dependence on problem size than existing interior point methods. Using a log determinant relaxation of the log partition function (Wainwright and Jordan [2006]), we show that these same algorithms can be used to solve an approximate sparse maximum likelihood problem for the binary case. We test our algorithms on synthetic data, as well as on gene expression and senate voting records data.

研究动机与目标

• 开发一种可扩展的方法，用于从高维多元高斯或二值数据中学习稀疏的无向图模型。
• 克服当节点数超过数十个时，内点法在计算上不可行的问题。
• 设计优化算法，实现优于现有方法的复杂度缩放，同时保持收敛性保证。
• 通过配分函数的对数行列式松弛方法，将稀疏最大似然框架扩展至二值数据。
• 在合成数据、基因表达数据以及美国参议院投票记录上对算法进行实证验证。

提出的方法

• 将图模型选择问题表述为带l1-范数惩罚的凸优化问题，以在精度矩阵中诱导稀疏性。
• 提出一种块坐标下降算法，通过交替更新参数实现，等价于递归的l1-正则化回归。
• 采用内沃罗夫的一阶方法，与内点法相比，对问题规模的依赖性更优。
• 通过配分函数的对数行列式松弛方法，将方法扩展至二值数据。
• 使用相同的两种算法求解得到的近似稀疏最大似然问题。
• 通过精心设计的优化结构和复杂度分析，确保收敛性和计算效率。

实验结果

研究问题

• RQ1 l1-正则化最大似然估计能否为高维高斯数据生成稀疏且准确的图模型？
• RQ2 可扩展的优化算法能否替代计算上不可行的内点法，用于大规模高斯图模型？
• RQ3 如何通过松弛技术将稀疏最大似然框架适配至二值数据？
• RQ4 所提出算法在真实世界数据集上的计算复杂度和可扩展性如何？
• RQ5 所提出的算法在合成数据以及真实世界数据（如基因表达数据和参议院投票记录）上的表现如何？

主要发现

• 块坐标下降算法在高维高斯图模型中实现了高效的稀疏模型选择，且具有可证明的收敛性。
• 内沃罗夫的一阶方法在问题规模增大时，复杂度缩放优于传统的内点法。
• 对数行列式松弛方法使稀疏最大似然方法能够扩展至二值数据，且精度损失极小。
• 算法在基因表达数据中成功识别出有意义的结构，揭示了具有生物学合理性的调控网络。
• 在美国内参议院投票记录上，该方法恢复了与政党归属和意识形态一致性相符的可解释模式。
• 两种算法均可扩展至至少1,000个节点的问题，显著优于现有方法的计算可行性。