[论文解读] A General Method for Amortizing Variational Filtering

Joseph Marino, Milan Cvitkovic+1 more|arXiv (Cornell University)|Nov 13, 2018

Gaussian Processes and Bayesian Inference被引用 13

一句话总结

本文提出变分滤波期望最大化算法（variational filtering EM algorithm），一种理论基础坚实的在线变分推断方法，用于深度动态潜在变量模型，通过在每个时间步优化过去和当前数据的推断。该方法提出了一种摊销变分滤波（Amortized Variational Filtering, AVF），利用迭代推理网络高效逼近后验分布，在TIMIT、KTH Actions和多音符音乐数据集等多个基准测试中实现了最先进或具有竞争力的性能。

ABSTRACT

We introduce the variational filtering EM algorithm, a simple, general-purpose method for performing variational inference in dynamical latent variable models using information from only past and present variables, i.e. filtering. The algorithm is derived from the variational objective in the filtering setting and consists of an optimization procedure at each time step. By performing each inference optimization procedure with an iterative amortized inference model, we obtain a computationally efficient implementation of the algorithm, which we call amortized variational filtering. We present experiments demonstrating that this general-purpose method improves performance across several deep dynamical latent variable models.

研究动机与目标

• 开发一种通用、理论严谨的在线变分推断方法，用于深度动态潜在变量模型。
• 通过从变分目标推导出严格的优化框架，解决滤波中手工设计推断过程的局限性。
• 通过使用具有迭代更新的摊销推断，提升推断效率与性能，避免依赖启发式或模型特定的设计。
• 在多种序列建模任务（包括语音、视频和音乐）中，展示该方法的广泛适用性与有效性。

提出的方法

• 从滤波变分目标推导出变分滤波期望最大化算法，形成一系列与时间步相关的推断优化问题。
• 使用迭代摊销推理模型在每个时间步执行优化，从先验分布初始化，形成贝叶斯预测-更新循环。
• 通过最小化变分自由能（ELBO）来逼近真实后验，目标函数表示为负证据下界。
• 采用可微、端到端可训练的推理网络，每个时间步执行多次基于梯度的更新，以优化后验估计。
• 提出一种通用框架，可应用于任意深度动态潜在变量模型（包括VRNN、SRNN和SVG），无需模型特定修改。
• 通过仅使用过去和当前观测值在每个时间步顺序处理数据，实现在线学习与推断。

实验结果

研究问题

• RQ1 一种通用、理论推导的算法能否提升深度动态潜在变量模型中的在线变分推断？
• RQ2 具有迭代更新的摊销推断与手工设计的推断方法相比，在性能与效率方面如何？
• RQ3 在滤波设置中，迭代推理过程在多大程度上改善了后验近似？
• RQ4 所提出的方法能否在语音、视频和音乐生成等多样化序列建模任务中实现泛化？
• RQ5 在摊销滤波框架中，推理迭代次数如何影响性能与收敛性？

主要发现

• 在TIMIT语音数据集上，AVF使用2次推理迭代，每步测试自由能为1,071纳特，优于基线方法。
• 在KTH Actions视频数据集上，AVF将平均自由能从基线的15,097纳特/步降低至11,714纳特/步，显著提升性能。
• 在JSB Chorales音乐数据集上，将推理迭代次数增至5次，使AVF的测试性能提升至6.77纳特/步，优于基线。
• 在所有评估基准上，AVF均实现了与最先进方法相当或更优的性能，包括在TIMIT上的SRNN和在KTH Actions上的SVG。
• 迭代推理过程每步均提升重建质量，但边际收益递减，如重建演化过程的可视化所示。
• AVF的性能提升归因于其严谨的优化框架，以及避免了KL权重衰减，后者在其他方法中可能阻碍后验近似。