[论文解读] Model Selection Through Sparse Maximum Likelihood Estimation

Onureena Banerjee, Laurent El Ghaoui+1 more|ArXiv.org|Jul 4, 2007

Bayesian Modeling and Causal Inference参考文献 5被引用 117

一句话总结

本文提出了一种基于ℓ₁-范数正则化的稀疏最大似然估计方法，用于高斯图模型和二值图模型，通过在精度矩阵中引入稀疏性。该方法提出了两种高效算法——块坐标下降法与内点法的Nesterov一阶方法，可扩展至高维问题（最多1,000个节点），在基因表达和投票记录数据中实现了精确的模型选择，具有可证明的收敛性与优于内点法的复杂度。

ABSTRACT

We consider the problem of estimating the parameters of a Gaussian or binary distribution in such a way that the resulting undirected graphical model is sparse. Our approach is to solve a maximum likelihood problem with an added l_1-norm penalty term. The problem as formulated is convex but the memory requirements and complexity of existing interior point methods are prohibitive for problems with more than tens of nodes. We present two new algorithms for solving problems with at least a thousand nodes in the Gaussian case. Our first algorithm uses block coordinate descent, and can be interpreted as recursive l_1-norm penalized regression. Our second algorithm, based on Nesterov's first order method, yields a complexity estimate with a better dependence on problem size than existing interior point methods. Using a log determinant relaxation of the log partition function (Wainwright & Jordan (2006)), we show that these same algorithms can be used to solve an approximate sparse maximum likelihood problem for the binary case. We test our algorithms on synthetic data, as well as on gene expression and senate voting records data.

研究动机与目标

• 开发用于无向图模型中高维模型选择的计算高效方法。
• 解决内点法在大规模稀疏精度矩阵估计中计算成本过高的问题。
• 通过配分函数的对数行列式松弛，将稀疏最大似然估计扩展至二值数据。
• 提供相比现有方法对问题规模依赖性更优的复杂度的算法。
• 在真实数据上验证该方法，包括基因表达数据与美国参议院投票记录。

提出的方法

• 将稀疏高斯图模型选择建模为带ℓ₁-范数惩罚的凸优化问题，作用于精度矩阵。
• 推导对偶问题，并利用块坐标下降法通过ℓ₁-正则化回归迭代更新精度矩阵的每一行/列。
• 应用Nesterov的一阶方法，实现相比内点法更优的复杂度量级，尤其适用于大p情形。
• 采用对数行列式松弛方法处理二值数据的对数配分函数，该方法由Wainwright和Jordan（2006）提出。
• 通过卡方近似实现基于显著性的惩罚参数选择规则，以控制假发现率。
• 采用基于松弛的近似方法处理二值指数族模型中难以计算的对数配分函数。

实验结果

研究问题

• RQ1 ℓ₁-惩罚最大似然估计能否为高维高斯数据生成稀疏且可解释的图模型？
• RQ2 如何降低变量数超过数十个时稀疏精度矩阵估计的计算复杂度？
• RQ3 能否通过配分函数的松弛，将相同的优化框架适配至二值数据？
• RQ4 与内点法相比，所提算法的理论复杂度与收敛行为如何？
• RQ5 所得到的图模型在真实数据集中对已知生物与社会关系的恢复效果如何？

主要发现

• 块坐标下降算法实现了收敛，可被解释为对每个节点邻域选择的递归ℓ₁-正则化回归。
• 基于Nesterov的算法提供了优于内点法的复杂度估计，对问题规模的依赖性更优，适用于大规模问题。
• 在Hughes基因表达数据集中，方法估计出6,136个基因中有5,797个条件独立，LDL受体与参与脂质和类固醇代谢的基因存在强关联。
• 在Iconix微阵列数据集（500个基因）中，估计出339个基因条件独立，LDL受体与关键代谢调节因子及未注释的ESTs相关联。
• 在美国参议院投票记录数据集（100名参议员）中，方法恢复的网络显示政党归属显著影响连通性模式，如Chafee与Allen等知名政治人物表现出预期的结构角色。
• 尽管参议院数据的图模型基于松弛近似，其结果仍与传统政治认知和媒体报道一致，验证了该方法的可解释性。