[论文解读] Improving Variational Auto-Encoders using Householder Flow

Jakub M. Tomczak, Max Welling|arXiv (Cornell University)|Nov 29, 2016

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 83

一句话总结

本文提出Householder Flow，一种保持体积的归一化流，通过一系列Householder变换对变分自编码器（VAEs）中的全协方差后验进行建模，从而提升其性能。通过使用基核表示参数化正交矩阵并应用Householder反射，该方法在计算成本较低的前提下实现了灵活的后验近似，在MNIST和组织病理学数据上均优于基线VAE及其他归一化流，表现出更高的似然度和更低的方差。

ABSTRACT

Variational auto-encoders (VAE) are scalable and powerful generative models. However, the choice of the variational posterior determines tractability and flexibility of the VAE. Commonly, latent variables are modeled using the normal distribution with a diagonal covariance matrix. This results in computational efficiency but typically it is not flexible enough to match the true posterior distribution. One fashion of enriching the variational posterior distribution is application of normalizing flows, i.e., a series of invertible transformations to latent variables with a simple posterior. In this paper, we follow this line of thinking and propose a volume-preserving flow that uses a series of Householder transformations. We show empirically on MNIST dataset and histopathology data that the proposed flow allows to obtain more flexible variational posterior and competitive results comparing to other normalizing flows.

研究动机与目标

• 提升变分自编码器中后验分布的灵活性，超越对角高斯近似。
• 开发一种保持体积不变（雅可比行列式=1）的归一化流，以提高计算效率。
• 利用源自Householder反射的正交变换对全协方差后验进行建模。
• 与标准归一化流相比，减少参数数量，同时保持或提升似然性能。
• 在MNIST和具有挑战性的组织病理学图像数据上评估该方法，以验证其在真实世界应用中的适用性。

提出的方法

• 该方法使用Householder变换构建正交矩阵，旋转潜在空间，保持体积不变，从而实现灵活的后验建模。
• 它利用正交矩阵的基核表示，其中每个正交矩阵被表示为恰好K个Householder反射的乘积。
• 该流作为一系列可逆且保持体积的变换应用：z^{(t)} = f^{(t)}(z^{(t-1)}), 其雅可比行列式 |det ∂f^{(t)}/∂z^{(t-1)}| = 1。
• 后验被建模为 q(z^{(T)}|x) = N(z^{(T)}; μ(x), Σ(x))，其中Σ(x)通过应用于对角协方差的Householder基正交变换学习得到。
• 模型通过重参数化技巧和变分下界，以标准VAE目标端到端训练。
• 仅需额外 T×M 个参数，远少于其他归一化流（如NICE或NF）所需的参数量。

实验结果

研究问题

• RQ1 基于Householder变换的保持体积的归一化流能否提升VAE中后验分布的灵活性？
• RQ2 Householder Flow是否在参数更少的情况下，仍能获得优于标准VAE和其他归一化流的似然度？
• RQ3 Householder Flow在复杂的真实世界数据（如组织病理学图像）上的表现如何？
• RQ4 Householder Flow是否能通过实现更优的后验近似，降低Kullback-Leibler散度惩罚？
• RQ5 Householder Flow在计算上是否高效且可扩展至高维潜在空间？

主要发现

• 在MNIST数据上，VAE+HF（T=10）相比基线VAE实现了更低的重建误差和更小的KL散度，表明后验近似更优。
• 在组织病理学数据上，VAE+HF（T=20）在边缘对数似然上实现了微小但稳定的提升，测试集达到1398.27 ± 8.11 nats。
• VAE+HF在重复实验中表现出更低的性能方差，标准差分别为T=1、10、20时的22.09、15.15和8.11 nats。
• Householder Flow仅需T×M个额外参数，远少于VAE+NICE（M(M-1)/2）和VAE+NF（O(T×M)）的参数量。
• 该方法在计算成本更低的前提下实现了具有竞争力的结果，证明保持体积的流既灵活又高效。
• 似然度的提升和KL惩罚的降低表明，Householder Flow使后验能够更好地建模真实协方差的特征值，从而实现更优的后验拟合。