[论文解读] MAE: Mutual Posterior-Divergence Regularization for Variational AutoEncoders

Xuezhe Ma, Chunting Zhou+1 more|arXiv (Cornell University)|Jan 6, 2019

Generative Adversarial Networks and Image Synthesis参考文献 43被引用 13

一句话总结

本文提出了一种名为MAE（互后验-散度正则化）的新颖正则化技术，用于变分自编码器（VAEs），通过最小化不同数据点后验分布之间的互散度，缓解了KL退化问题，从而在潜在空间中建立起有意义的几何结构。该方法使具备强大解码器的VAE在图像基准数据集上的密度估计和表征学习任务中均实现了最先进性能。

ABSTRACT

Variational Autoencoder (VAE), a simple and effective deep generative model, has led to a number of impressive empirical successes and spawned many advanced variants and theoretical investigations. However, recent studies demonstrate that, when equipped with expressive generative distributions (aka. decoders), VAE suffers from learning uninformative latent representations with the observation called KL Varnishing, in which case VAE collapses into an unconditional generative model. In this work, we introduce mutual posterior-divergence regularization, a novel regularization that is able to control the geometry of the latent space to accomplish meaningful representation learning, while achieving comparable or superior capability of density estimation. Experiments on three image benchmark datasets demonstrate that, when equipped with powerful decoders, our model performs well both on density estimation and representation learning.

研究动机与目标

• 为解决在使用强大解码器时，VAE中潜在表征变得无信息的KL退化问题。
• 在不牺牲密度估计性能的前提下，提升学习到的潜在表征质量。
• 通过一种新颖的正则化机制控制潜在空间的几何结构，以促进有意义的解耦与多样性。
• 使具备表达性强的生成模型的VAE能够保持强大的生成能力与解耦表征能力。
• 提供一种理论基础扎实且实证有效的现有VAE正则化技术替代方案。

提出的方法

• 通过最小化不同数据点后验分布之间的Kullback-Leibler散度，引入互后验-散度正则化。
• 采用双编码策略，将每个数据点编码为一个后验分布，并最小化这些后验分布之间的散度。
• 引入对称正则化项，以促进潜在空间中的多样性与分布扩散，防止后验坍缩。
• 在保持标准VAE目标的同时，增加一个作用于潜在空间几何结构的新正则化项。
• 采用类似对比学习的机制，促使不同数据点具有可区分的潜在编码。
• 该方法兼容任何VAE架构，无需架构修改，也无需额外超参数，仅需标准VAE的超参数。

实验结果

研究问题

• RQ1 互后验-散度正则化是否能有效防止使用强大解码器的VAE中的后验坍缩？
• RQ2 所提出的正则化是否能提升解耦且有意义的潜在表征质量？
• RQ3 与标准VAE及其他最先进变体相比，该方法是否能维持或提升密度估计性能？
• RQ4 该正则化如何影响学习到的潜在空间的几何结构？
• RQ5 该方法在不同图像数据集和解码器架构下是否具有鲁棒性？

主要发现

• 所提出的MAE方法在三个图像基准数据集上的密度估计与表征学习任务中均取得了最先进结果。
• 在MNIST、EMNIST和CelebA数据集上，MAE在测试对数似然与下游表征质量方面均优于基线VAE及其他SOTA方法。
• 即使在使用深层且表达能力强的解码器时，该模型仍能有效防止KL退化，保持信息丰富的潜在编码。
• 定性分析表明，与标准VAE相比，学习到的潜在空间展现出更好的解耦性与更平滑的插值效果。
• 该方法在无需架构修改的情况下，跨不同架构与数据集均表现出一致的性能提升。
• 消融研究证实，互后验-散度正则化是性能提升的关键因素，而非权重衰减或其他正则化手段。