[论文解读] Towards Deeper Understanding of Variational Autoencoding Models

Shengjia Zhao, Jiaming Song+1 more|arXiv (Cornell University)|Feb 28, 2017

Generative Adversarial Networks and Image Synthesis参考文献 15被引用 129

一句话总结

本文提出一个通用的变分自编码器（VAE）优化框架，超越 ELBO，解释诸如样本模糊和潜在编码信息不足等常见问题，并提出序列 VAE 与信息感知训练以提升样本清晰度和潜在变量利用率。

ABSTRACT

We propose a new family of optimization criteria for variational auto-encoding models, generalizing the standard evidence lower bound. We provide conditions under which they recover the data distribution and learn latent features, and formally show that common issues such as blurry samples and uninformative latent features arise when these conditions are not met. Based on these new insights, we propose a new sequential VAE model that can generate sharp samples on the LSUN image dataset based on pixel-wise reconstruction loss, and propose an optimization criterion that encourages unsupervised learning of informative latent features.

研究动机与目标

• 为变分自编码模型提供一个超越标准 ELBO 的新通用优化准则。
• 解释在复杂数据上 VAE 为何会在样本上呈现模糊以及潜在特征不具信息性。
• 引入缓解这些问题的方法，包括序列 VAE 与知情正则化。
• 证明更具表达力的推断/后验分布以及合适的正则化可以产生清晰的样本和有意义的潜在特征。

提出的方法

• 推导一个一般的 p_theta(x|z)，其中 f_theta 将潜在编码映射到分布参数，并优化不一定严格是 ELBO 的损失 L。
• 提出一个判别目标 L = E_q(z)[E_q(x|z)[log p_theta(x|z)]]，以避免仅用一个 P 来拟合所有数据而产生的平凡解。
• 证明在容量充足时，模型可以学习 q_phi(z|x) 使 P_{f_theta(z)} 逐步逼近给定 z 的 q(x|z)。
• 引入正则化的 VAE 损失 L_VAE = E_{q_phi(x,z)}[log p_theta(x|z)] - R(q_phi) 并将 R 与当 R 对应于 KL 发散项时的 ELBO 相联系。
• 提出序列 VAE 和受注入训练启发的增强来逐步简化后验 q(x|z) 并生成更清晰的样本。
• 证明在未正则化的 VAE 下潜在特征可以被保留，而 ELBO 往往会抑制它们，并且复杂的后验可以通过序列增强更好地处理。

实验结果

研究问题

• RQ1 在适当条件下，通用的 VAE 优化框架是否可以在不依赖传统 ELBO 的情况下恢复数据分布？
• RQ2 为什么 VAE 会产生模糊样本，为什么潜在编码常被忽略，以及如何设计训练来缓解这些问题？
• RQ3 如何利用更具表达力的推断/后验族和序列增强，在像 LSUN 这样复杂的数据集上实现清晰的样本？
• RQ4 正则化训练与非正则化训练在潜在编码利用率和采样质量方面在何种条件下会产生不同？
• RQ5 P（p(x|z) 的族）的选择在后验 q(x|z) 与样本保真度上扮演何种角色？

主要发现

• 一个广义的 VAE 框架可以使用具有变化 q(x|z) 的判别目标来学习数据分布，从而使后验更丰富。
• 当后验 q(x|z) 对简单的 P 来说过于复杂时会产生模糊样本；使用序列 VAE 或受注入启发的增强可降低后验方差并产生更清晰的样本。
• 基于 ELBO 的训练可能将潜在信息推向零，而非正则化的训练则保持 x 和 z 之间的互信息，从而保留有信息的潜在编码。
• 在 LSUN 上，采用逐步更丰富的推断与重建步骤的序列 VAE 使用 2-norm 像素损失可以提升样本清晰度。
• 当 P 复杂时（如 PixelCNN），ELBO 仍可能导致潜在编码被忽略；移除严格正则化可以在保持样本质量的同时维持潜在信息。
• 该框架提供了一种有原则的方法来诊断和缓解常见的 VAE 病态，并设计能够保持有信息潜在特征的训练方案。