[论文解读] Auto-Encoding Sequential Monte Carlo

Tuan Anh Le, Maximilian Igl+3 more|arXiv (Cornell University)|May 29, 2017

Topic Modeling参考文献 35被引用 30

一句话总结

本文提出自动编码序蒙特卡洛（AESMC），一种利用序蒙特卡洛（SMC）方法估计边缘似然以实现比重要性采样更低方差的深度生成模型联合模型与提议学习方法。该文提出一种新型训练流程——交替ELBO，通过解耦更新步骤来改进模型与提议学习，在结构化时间序列数据上的表现优于IWAE与标准AESMC。

ABSTRACT

We build on auto-encoding sequential Monte Carlo (AESMC): a method for model and proposal learning based on maximizing the lower bound to the log marginal likelihood in a broad family of structured probabilistic models. Our approach relies on the efficiency of sequential Monte Carlo (SMC) for performing inference in structured probabilistic models and the flexibility of deep neural networks to model complex conditional probability distributions. We develop additional theoretical insights and introduce a new training procedure which improves both model and proposal learning. We demonstrate that our approach provides a fast, easy-to-implement and scalable means for simultaneous model learning and proposal adaptation in deep generative models.

研究动机与目标

• 通过利用序蒙特卡洛（SMC）实现更精确的边缘似然估计，以解决变分推断中重要性采样方法的局限性。
• 改进结构化概率模型中模型学习与提议分布的适应性，尤其针对序列数据。
• 通过将ELBO与对数边缘似然之间的差距表示为扩展空间上的Kullback-Leibler散度，为证据下界（ELBO）提供理论洞见。
• 提出并评估一种新型训练流程——交替ELBO，通过为模型参数与提议参数分别使用不同的ELBO目标，解耦更新过程，以缓解因边界过紧导致的性能下降。
• 证明低方差估计器可能对提议学习有害，挑战了‘更紧的边界总是提升性能’的假设。

提出的方法

• 基于SMC的边缘似然估计构建新型ELBO，替代传统VAE与IWAE中的重要性采样。
• 使用重参数化技巧的随机梯度上升（SGA）来联合优化模型与提议参数的ELBO。
• 提出一个理论框架，将ELBO差距表示为扩展抽样空间上两个分布之间的KL散度。
• 推导ELBO达到零差距（即完美推断）的条件，表明对于AESMC，这要求学习中间SMC目标分布。
• 提出交替ELBO方法，为模型参数与提议参数分别使用不同的ELBO目标，以提升训练稳定性和性能。
• 采用变分循环神经网络（VRNN）作为序列数据的生成模型与提议模型来实现该方法。

实验结果

研究问题

• RQ1 在结构化概率模型中，基于SMC的边缘似然估计是否能比重要性采样带来更好的模型学习？
• RQ2 与IWAE相比，AESMC在ELBO差距实现零KL散度时具有何种理论意义？
• RQ3 使用低方差SMC估计器是否总是能改善提议学习，还是可能产生负面影响？
• RQ4 通过交替ELBO解耦模型与提议更新，是否能带来更优的学习稳定性和性能？
• RQ5 所提方法在结构化时间序列生成任务上与IWAE及标准AESMC相比，实证表现如何？

主要发现

• AESMC在结构化时间序列数据的重建与预测任务中均优于IWAE，使用40个粒子时ELBO达到-356.1，优于IWAE的-356.2。
• 交替ELBO方法在某些情况下提升了训练稳定性和性能，在移动目标任务中优于标准AESMC与IWAE。
• 使用低方差SMC估计器可能对提议学习产生负面影响，因为更紧的边界可能误导优化过程。
• 理论分析表明，AESMC中ELBO的完美优化要求不仅学习后验分布，还需学习中间SMC目标分布。
• AESMC中的ELBO差距可表示为扩展空间上的KL散度，从而更深入理解收敛行为与优化动态。
• 实证结果证实，使用40个粒子时，AESMC的ELBO优于IWAE，表明SMC的低方差特性带来了更优的模型学习与更紧的边界。