[论文解读] Improving Explorability in Variational Inference with Annealed Variational Objectives

Chin-Wei Huang, Shawn Tan+2 more|arXiv (Cornell University)|Sep 6, 2018

Generative Adversarial Networks and Image Synthesis被引用 20

一句话总结

本文提出退火变分目标（AVO），通过退火目标引入能量退火，提升层次化变分推断中的探索能力。通过在训练过程中逐步降低温度，AVO 使近似后验能够更有效地探索多模态结构，从而实现更好的边缘似然估计，并对 beta 退火调度具有更强的鲁棒性，在 MNIST 和 Omniglot 数据集上的定性与定量评估中均优于标准 ELBO。

ABSTRACT

Despite the advances in the representational capacity of approximate distributions for variational inference, the optimization process can still limit the density that is ultimately learned. We demonstrate the drawbacks of biasing the true posterior to be unimodal, and introduce Annealed Variational Objectives (AVO) into the training of hierarchical variational methods. Inspired by Annealed Importance Sampling, the proposed method facilitates learning by incorporating energy tempering into the optimization objective. In our experiments, we demonstrate our method's robustness to deterministic warm up, and the benefits of encouraging exploration in the latent space.

研究动机与目标

• 解决变分推断中的局限性：尽管具有高表示能力，优化过程仍会使近似后验偏向单峰、过度自信的解。
• 通过退火目标引入能量退火，改善层次化变分推断（HVI）的探索行为。
• 证明退火变分目标可提升复杂、多模态后验的学习能力，而无需依赖更丰富的变分族。
• 表明 AVO 对确定性的 beta 退火调度具有鲁棒性，而此类调度通常会降低标准变分推断的性能。
• 提供一种与分布族扩展正交的方法，直接针对摊销变分推断中的优化诱导偏差。

提出的方法

• 通过温度参数 T 修改变分自由能目标，引入退火变分目标（AVO），其中 α = 1/T 控制能量退火的程度。
• 对 KL 散度目标应用能量退火：E_q[log q(z) - α log f(z)]，其中 α 初始值较小（高温），逐渐增加至 1（低温），初始阶段平滑能量景观。
• 在层次化变分推断（HVI）框架中，每一层学习后验的逐步精细化近似，AVO 在每一层应用。
• 采用线性退火调度，将 α 从较小的初始值线性增加至 1，使模型在早期阶段能探索多样模式，后期阶段进行后验精炼。
• 将 AVO 与标准摊销推理结合，通过神经网络（如 VAE）实现，保持计算效率的同时提升后验近似能力。
• 通过负 KL 散度与测试集上的对数似然评估性能，使用重要性采样估算不可计算的熵。

实验结果

研究问题

• RQ1 通过退火目标实现的能量退火，能否改善层次化变分推断在多模态后验设置下的探索行为？
• RQ2 与标准 ELBO 和 beta 退火相比，AVO 在确定性预热调度下的鲁棒性如何？
• RQ3 通过 AVO 鼓励探索，是否能带来更好的边缘似然估计与更低的变分间隙？
• RQ4 AVO 在多大程度上缓解了标准变分推断中导致后验偏向单峰的偏差？
• RQ5 AVO 是否能在不增加模型复杂度的前提下，提升 VAE 的测试似然与泛化能力？

主要发现

• HVI-AVO 在多模态能量函数中成功捕捉全部四个模式，而 HVI-ELBO 未能探索所有模式，退化为单一模式。
• 在 MNIST 和 Omniglot 数据集上，HVI-AVO 的变分间隙更低（如 3.24 vs. 7.71），测试似然更高（85.51 vs. 86.40），表明后验近似能力更强。
• HVI-AVO 在不同 beta 退火调度下保持一致的性能，而 HVI-ELBO 在延长退火时性能显著下降，展现出更强的鲁棒性。
• 在 Omniglot 实验中，HVI-AVO 的测试对数似然达到 85.51，优于标准 VAE 基线，尽管初始 ELBO 值更高，仍表现出更好的泛化能力。
• 该方法降低了 ELBO 与测试似然之间的差距，表明近似后验偏差更小，更接近真实后验。
• AVO 在无需复杂变分族的情况下实现更好探索，表明优化动态是摊销变分推断中的关键瓶颈。