[论文解读] Diversity-Promoting Bayesian Learning of Latent Variable Models

Pengtao Xie, Jun Zhu+1 more|arXiv (Cornell University)|Nov 23, 2017

Bayesian Methods and Mixture Models参考文献 36被引用 8

一句话总结

本文通过引入一种相互角度先验，提出了一种促进多样性的贝叶斯学习方法，用于潜在变量模型（LVMs），该先验鼓励组件向量正交化，从而更好地捕捉稀有模式并降低模型复杂度。该方法采用变分推断与马尔可夫链蒙特卡洛（MCMC）进行高效的后验近似，在真实世界数据集上的模型多样性与泛化能力方面优于基线模型。

ABSTRACT

To address three important issues involved in latent variable models (LVMs), including capturing infrequent patterns, achieving small-sized but expressive models and alleviating overfitting, several studies have been devoted to "diversifying" LVMs, which aim at encouraging the components in LVMs to be diverse. Most existing studies fall into a frequentist-style regularization framework, where the components are learned via point estimation. In this paper, we investigate how to "diversify" LVMs in the paradigm of Bayesian learning. We propose two approaches that have complementary advantages. One is to define a diversity-promoting mutual angular prior which assigns larger density to components with larger mutual angles and use this prior to affect the posterior via Bayes' rule. We develop two efficient approximate posterior inference algorithms based on variational inference and MCMC sampling. The other approach is to impose diversity-promoting regularization directly over the post-data distribution of components. We also extend our approach to "diversify" Bayesian nonparametric models where the number of components is infinite. A sampling algorithm based on slice sampling and Hamiltonian Monte Carlo is developed. We apply these methods to "diversify" Bayesian mixture of experts model and infinite latent feature model. Experiments on various datasets demonstrate the effectiveness and efficiency of our methods.

研究动机与目标

• 解决现有LVM在捕捉稀有模式方面的局限性，因为基于似然的优化倾向于偏好频繁模式。
• 通过促进组件多样性并减少冗余，在不牺牲表达能力的前提下减小模型规模。
• 通过采用具有不确定性量化和模型平均的贝叶斯推断，缓解LVM中的过拟合问题。
• 开发一种支持变分推断与MCMC的贝叶斯框架，以促进多样性，克服先前基于DPP方法的局限性。
• 将促进多样性的学习方法扩展至具有无限组件的贝叶斯非参数模型，结合截断采样与HMC（哈密顿蒙特卡洛）方法。

提出的方法

• 提出一种相互角度先验，为成对角度较大的组件向量分配更高的密度，通过贝叶斯先验设定促进多样性。
• 采用结构化变分族的变分推断，近似在相互角度先验下的后验分布，实现高效优化。
• 基于Metropolis-Hastings设计MCMC采样器，用于后验推断，相比变分方法提供更精确的近似。
• 直接在组件的后验分布上施加多样性正则化，使用角度散度作为目标函数中的正则化项。
• 通过结合截断采样与哈密顿蒙特卡洛（HMC），将该框架扩展至贝叶斯非参数模型，以处理无限组件集合。
• 将该方法应用于贝叶斯专家混合模型与无限潜在特征模型，使用冯-米塞斯-费舍尔分布和伽马分布分别对组件参数与混合参数建模。

实验结果

研究问题

• RQ1 是否能够通过贝叶斯框架在不依赖点估计的前提下，有效促进LVM中各组件的多样性？
• RQ2 与标准先验相比，相互角度先验在建模稀有模式方面有何改进？
• RQ3 变分推断与MCMC能否有效结合，以在多样性促进的贝叶斯LVM中平衡效率与精度？
• RQ4 多样性促进在多大程度上可减小模型规模，同时保持或提升其表征能力？
• RQ5 所提出的方法能否扩展至具有无限多个组件的非参数LVM？

主要发现

• 相互角度先验显著提升了对稀有模式的检测能力，文档数据集中低频主题的召回率更高。
• 采用所提出的多样性促进先验的模型表现出更优的泛化性能，测试似然方差更低，过拟合现象减少。
• 变分推断算法收敛速度优于MCMC，同时保持了具有竞争力的性能，适用于大规模应用场景。
• 基于MCMC的推断提供了更精确的后验估计，尤其在高维组件空间中，验证了该方法的鲁棒性。
• 在非参数设置下，结合截断采样与HMC的方法成功发现了有意义的无限组件结构，且未出现过拟合。
• 在真实世界数据集上的实证结果表明，所提方法在模型表达能力与计算效率方面均达到最先进水平。