[论文解读] Inference Suboptimality in Variational Autoencoders

Chris Cremer, Xuechen Li+1 more|arXiv (Cornell University)|Jan 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 85

一句话总结

该论文将 VAE 的推断子最优性分解为近似差与摊销差，结果表明摊销往往占主导地位，更具表达力的近似可以降低摊销误差并帮助泛化，而生成器会适应所选的近似。

ABSTRACT

Amortized inference allows latent-variable models trained via variational learning to scale to large datasets. The quality of approximate inference is determined by two factors: a) the capacity of the variational distribution to match the true posterior and b) the ability of the recognition network to produce good variational parameters for each datapoint. We examine approximate inference in variational autoencoders in terms of these factors. We find that divergence from the true posterior is often due to imperfect recognition networks, rather than the limited complexity of the approximating distribution. We show that this is due partly to the generator learning to accommodate the choice of approximation. Furthermore, we show that the parameters used to increase the expressiveness of the approximation play a role in generalizing inference rather than simply improving the complexity of the approximation.

研究动机与目标

• 研究 VAE 中真实后验与近似后验之间错配的来源，聚焦于近似差与摊销差。
• 量化编码器选择、后验表达力、解码器容量和优化如何影响推断子最优性。
• 证明学习到的生成器会适应所选的推断近似。
• 评估表达力强的近似（流式变换、辅助变量）在标准数据集上的推断与泛化影响。

提出的方法

• 定义并将 VAE 的推断差分解为近似差和摊销差。
• 尝试包含正规化流和辅助变量的表达式近似后验（q_Flow, q_AF）。
• 在 MNIST、Fashion-MNIST 和 CIFAR-10 上训练和评估模型，使用 ELBO、IWAE 和 AIS 边界估计对数 p(x) 和差异。
• 计算局部（每个数据点）对 q 的优化得到 q*，并与摊销的 q 进行比较。
• 使用熵/温度退火研究对后验利用率和推断差的影响。
• 评估编码器/解码器容量和优化选择对这些差的影响。

实验结果

研究问题

• RQ1 在 VAEs 中，边际对数似然与 ELBO 之间的差距由哪些因素导致？
• RQ2 近似差与摊销差如何在不同数据集上共同贡献于总体推断子最优性？
• RQ3 增加近似后验的表达力是否会减少摊销差，还是主要减少近似差？
• RQ4 编码器容量与变分表达力对对 Held-out 数据的泛化有何影响？

主要发现

• 摊销差在跨数据集的总推断差中往往占主导，有时比近似差还大。
• 生成器可以适应所选择的近似，随着表达力的提升，减少近似差。
• 表达力强的近似（流）也会减少摊销差，而不仅仅是近似差，因为编码器容量的增加影响推断。
• 更大的编码器容量会降低摊销误差，但可能带来编码器过拟合和泛化性下降的风险。
• 训练过程中的熵/熵退火有助于模型利用表达式后验近似的灵活性。
• 增加解码器容量会减少近似差，表明生成器的灵活性可以在较不表达力的编码器下缓解推断。