[论文解读] Group Sparse Priors for Covariance Estimation

Benjamin M. Marlin, Mark Schmidt+1 more|arXiv (Cornell University)|May 9, 2012

Statistical Methods and Inference参考文献 11被引用 26

一句话总结

本文提出一种基于组稀疏先验的分层贝叶斯模型，用于高斯图形模型中的协方差估计，能够自动发现精度矩阵中的块状稀疏结构。通过推导对数分区函数的上界以实现变分推断，该方法在动作捕捉和金融数据上优于固定块结构和基线方法，更有效地学习未知的组结构。

ABSTRACT

Recently it has become popular to learn sparse Gaussian graphical models (GGMs) by imposing l1 or group l1,2 penalties on the elements of the precision matrix. Thispenalized likelihood approach results in a tractable convex optimization problem. In this paper, we reinterpret these results as performing MAP estimation under a novel prior which we call the group l1 and l1,2 positivedefinite matrix distributions. This enables us to build a hierarchical model in which the l1 regularization terms vary depending on which group the entries are assigned to, which in turn allows us to learn block structured sparse GGMs with unknown group assignments. Exact inference in this hierarchical model is intractable, due to the need to compute the normalization constant of these matrix distributions. However, we derive upper bounds on the partition functions, which lets us use fast variational inference (optimizing a lower bound on the joint posterior). We show that on two real world data sets (motion capture and financial data), our method which infers the block structure outperforms a method that uses a fixed block structure, which in turn outperforms baseline methods that ignore block structure.

研究动机与目标

• 开发一种灵活的贝叶斯框架，用于协方差估计，能够适应高维数据中未知的块结构。
• 解决精度矩阵估计中固定块结构或均匀稀疏性带来的局限性。
• 通过分层先验自动学习精度矩阵中条目的组分配。
• 尽管所提出的矩阵先验存在不可解的归一化常数，仍提供可行的推断方法。

提出的方法

• 为精度矩阵引入新颖的组 l1 和 l1,2 正定矩阵分布作为先验。
• 将 l1 和组 l1,2 惩罚似然估计重新解释为在这些先验下的最大后验估计（MAP）。
• 构建一个分层模型，其中每组的正则化强度可变，从而能够学习未知的组分配。
• 推导出矩阵先验中不可解的归一化常数的上界，以支持变分推断。
• 使用变分推断优化后验联合分布的下界，使后验计算成为可能。
• 将该方法应用于从数据中学习无先验组结构知识的块状稀疏高斯图形模型。

实验结果

研究问题

• RQ1 分层先验模型是否能比固定块结构更有效地学习精度矩阵中的未知块结构？
• RQ2 当块结构未知时，组稀疏先验的性能与标准 l1 惩罚方法相比如何？
• RQ3 在此背景下，使用归一化常数上界的变分推断会产生何种影响？
• RQ4 所提出的方法能否自动发现高维协方差估计中的有意义分组？
• RQ5 学习组结构的能力是否能提升真实世界数据上的模型拟合度和预测性能？

主要发现

• 所提出的方法通过从数据中学习块结构，在动作捕捉和金融数据集上均优于使用固定块结构的方法。
• 忽略块结构的方法被所提方法超越，证明了学习组分配的优势。
• 使用归一化常数上界的变分推断，尽管归一化常数不可解，仍能实现有效的后验近似。
• 通过根据学习到的结构自适应调整每组的正则化强度，模型实现了更高的协方差估计精度。
• 实证结果表明，分层组稀疏先验能带来更优的模型拟合度和与数据底层结构一致的稀疏模式。