[论文解读] Deep Generative Models with Stick-Breaking Priors

Eric Nalisnick, Padhraic Smyth|arXiv (Cornell University)|May 20, 2016

Bayesian Methods and Mixture Models参考文献 24被引用 23

一句话总结

该论文将随机梯度变分贝叶斯（SGVB）扩展至杆分解先验，实现了具有无限维潜在变量的深度生成模型。该方法在半监督学习中实现了高度判别性的表征，优于基准数据集上的标准高斯先验。

ABSTRACT

Bayesian nonparametric models are attractive for their data-dependent capacity, but their implementation can be problematic due to computational or analytical obstacles. We make progress on this problem by extending Stochastic Gradient Variational Bayes (Kingma & Welling, 2013), a 'black box' method for approximate posterior inference, to stick-breaking priors (Ishwaran & James, 2001). This innovation allows us to define deep generative models (DGMs) with infinite dimensional latent variables. We experimentally demonstrate that DGMs with Dirichlet process priors learn highly discriminative latent representations that are well suited for semi-supervised settings and often outperform the popular Gaussian alternative.

研究动机与目标

• 解决具有无限维先验的贝叶斯非参数模型中的计算与分析挑战。
• 实现在具有无限维潜在空间的深度生成模型中的可扩展近似后验推断。
• 开发一种与杆分解先验（如狄利克雷过程）兼容的黑箱推断方法。
• 通过学习更具判别性的潜在表征，在半监督学习中实现性能提升。

提出的方法

• 将随机梯度变分贝叶斯（SGVB）适配至杆分解先验，实现端到端可微训练。
• 采用专为杆分解过程设计的重参数化技巧，以支持基于梯度的优化。
• 使用狄利克雷过程先验建模潜在空间，允许无限数量的分量。
• 构建深度生成模型，其中潜在变量从具有无限支撑的杆分解过程中抽取。
• 通过利用无限维表征的灵活性，将该方法应用于半监督学习任务。
• 确保推理网络可微且与通过杆分解结构的反向传播兼容。

实验结果

研究问题

• RQ1 能否将随机梯度变分贝叶斯扩展至杆分解先验，以实现可扩展的后验近似？
• RQ2 具有无限维潜在变量的深度生成模型是否能学习到比有限维替代方案更具判别性的表征？
• RQ3 在半监督学习设置中，狄利克雷过程先验与高斯先验相比表现如何？
• RQ4 使用无限维潜在空间是否能提升低数据场景下的泛化能力与表征质量？

主要发现

• 所提出的方法成功将SGVB扩展至杆分解先验，实现了具有无限维潜在变量的深度生成模型的可扩展训练。
• 采用狄利克雷过程先验的模型学习到了高度判别性的潜在表征，特别适用于半监督学习。
• 该方法在半监督分类基准测试中始终优于使用高斯先验的模型。
• 潜在空间的无限维特性使得在无需预先指定维度的情况下，能够更灵活地捕捉复杂数据结构。