[论文解读] Learning Mixed Graphical Models

Jason D. Lee, Trevor Hastie|arXiv (Cornell University)|May 22, 2012

Machine Learning and Data Classification参考文献 30被引用 15

一句话总结

该论文提出了一种新颖的成对图模型，通过使用对称的组套索惩罚，统一处理连续变量与离散变量的结构学习。该模型通过将条件分布建模为高斯线性回归和多项式逻辑回归，推广了高斯图模型和离散马尔可夫随机场，利用伪似然法实现联合估计，在有限样本下相比最大似然估计表现出更优的性能。

ABSTRACT

We consider the problem of learning the structure of a pairwise graphical model over continuous and discrete variables. We present a new pairwise model for graphical models with both continuous and discrete variables that is amenable to structure learning. In previous work, authors have considered structure learning of Gaussian graphical models and structure learning of discrete models. Our approach is a natural generalization of these two lines of work to the mixed case. The penalization scheme involves a novel symmetric use of the group-lasso norm and follows naturally from a particular parametrization of the model.

研究动机与目标

• 解决缺乏统一框架来学习同时包含连续与离散变量的图模型的问题。
• 推广现有方法，用于纯连续变量（高斯图模型）和纯离散变量（马尔可夫随机场）设置下的稀疏结构学习。
• 为混合变量图模型中的联合参数估计与结构学习，开发一种计算上可行的方法。
• 通过校准的组套索方案，确保在异质参数块（标量、向量、矩阵）之间实现公平的惩罚。
• 在有限样本条件下，评估伪似然与最大似然以及独立回归方法的性能差异。

提出的方法

• 提出一种成对马尔可夫随机场，其联合密度结合了高斯回归与多项式逻辑回归分量，用于条件分布建模。
• 通过按边类型分组的连续-连续、连续-离散和离散-离散势函数参数化模型。
• 对参数块（标量、向量、矩阵）应用对称的组套索惩罚，以在图结构中诱导稀疏性。
• 引入校准的加权方案，公平惩罚不同大小的参数块。
• 使用伪似然作为完整似然的可计算替代，通过节点回归实现高效优化。
• 将框架扩展至条件随机场模型，用于具有混合输出的多变量响应回归。

实验结果

研究问题

• RQ1 能否构建一种统一的图模型，使其既能推广高斯图模型，又能推广离散成对马尔可夫随机场，以处理混合连续与离散变量？
• RQ2 在混合变量模型中，如何对异质参数块（标量、向量、矩阵）对称且公平地应用稀疏性诱导正则化？
• RQ3 在有限样本条件下，所提模型中的伪似然估计是否优于最大似然估计和独立回归方法？
• RQ4 与将部分变量视为特征的条件模型相比，联合生成模型的性能如何？
• RQ5 模型校准与正则化对混合变量设置中结构学习准确率的影响是什么？

主要发现

• 所提模型同时推广了高斯图模型与离散成对马尔可夫随机场，在各自特殊情形下可退化为原模型。
• 在有限样本条件下，伪似然估计优于最大似然估计，尤其在训练样本量较小时，得益于全局正则化效应。
• 伪似然方法在性能上与或优于独立回归模型，尤其在样本量较低时，同时支持完整的联合分布推断。
• 校准的组套索惩罚确保了对不同大小参数块的公平惩罚，提升了结构学习的一致性。
• 在预测性能方面，条件模型优于完整生成模型，除非在样本量极小时，此时生成模型收敛更快。
• 在人口普查数据和合成实验中的实证结果表明，所提方法在有限样本下具有更优的稳定性，能实现准确的结构学习。