[论文解读] Fixing a Broken ELBO

Alexander A. Alemi, Ben Poole+4 more|arXiv (Cornell University)|Nov 1, 2017

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 44

一句话总结

本文识别出变分自编码器（VAEs）中使用的证据下界（ELBO）存在一个关键缺陷：最大化ELBO并不能确保获得有意义的潜在表征，因为强大的解码器可能忽略潜在代码。作者提出一种基于输入与潜在变量之间互信息可计算边界的信息论率-失真框架，实现了压缩与重建之间权衡的可控调节，并证明通过针对率-失真曲线上的特定点进行训练，可防止在使用强解码器的VAE中出现潜在代码遗忘问题。

ABSTRACT

Recent work in unsupervised representation learning has focused on learning deep directed latent-variable models. Fitting these models by maximizing the marginal likelihood or evidence is typically intractable, thus a common approximation is to maximize the evidence lower bound (ELBO) instead. However, maximum likelihood training (whether exact or approximate) does not necessarily result in a good latent representation, as we demonstrate both theoretically and empirically. In particular, we derive variational lower and upper bounds on the mutual information between the input and the latent variable, and use these bounds to derive a rate-distortion curve that characterizes the tradeoff between compression and reconstruction accuracy. Using this framework, we demonstrate that there is a family of models with identical ELBO, but different quantitative and qualitative characteristics. Our framework also suggests a simple new method to ensure that latent variable models with powerful stochastic decoders do not ignore their latent code.

研究动机与目标

• 解决一个根本性问题：最大化ELBO并不能保证VAE中获得有用或解耦的潜在表征。
• 表明即使ELBO值相同，模型在互信息（输入与潜在变量之间）不同的情况下，其定性和定量特性也可能存在显著差异。
• 开发一种基于变分互信息边界的信息论可计算框架，用于指导表征学习。
• 证明通过针对率-失真曲线上的特定点进行训练，可有效引导使用强大自回归解码器的VAE充分利用其潜在代码。
• 仅使用真实互信息值和所提出的框架，无需架构先验偏置，即可恢复合成数据集的真实生成过程。

提出的方法

• 推导出互信息 $ I(X;Z) $ 的可计算变分下界与上界，因为该量原本难以精确计算。
• 构建一个率-失真（RD）曲线框架，以互信息为参数，表征压缩（率）与重建精度（失真）之间的权衡。
• 利用RD框架将VAE训练重新表述为约束优化问题，明确将互信息作为目标，而非通过ELBO隐式优化。
• 引入一种改进的训练目标，促使模型实现期望水平的互信息，从而防止强解码器忽略潜在代码。
• 将该框架应用于训练具有简单与复杂编码器、解码器及先验分布的VAE，通过在不同 $\beta$ 值下使用 $\beta$-VAE目标，探索率-失真曲线。
• 使用真实数据分布 $ \hat{p}(x) $ 的随机近似，并借助变分推断，在无需访问真实数据密度的情况下估计互信息边界。

实验结果

研究问题

• RQ1 为何最大化ELBO即使在边缘似然较高时，仍无法产生有意义的潜在表征？
• RQ2 能否基于信息论原理量化潜在变量模型中压缩（率）与重建保真度（失真）之间的权衡？
• RQ3 在VAE中，如何防止强大的随机解码器忽略潜在代码，即使其ELBO值很高？
• RQ4 能否仅使用真实互信息值和所提出的RD框架，从合成数据集中恢复真实生成过程？
• RQ5 在共享相同ELBO值但互信息和表征质量不同的VAE模型之间，其定性和定量差异为何？

主要发现

• 具有相同ELBO值的模型可能表现出截然不同的行为：部分模型有效利用潜在代码，而另一些则完全忽略它，这取决于互信息 $ I(X;Z) $ 的差异。
• 所提出的率-失真框架使训练使用强大自回归解码器（如PixelCNN风格）的VAE能够通过针对RD曲线上的特定点，避免潜在代码遗忘。
• 在具有已知真实生成过程的合成数据集上，该方法仅使用真实互信息值，成功恢复了真实生成模型（至重参数化等价），无需架构先验偏置。
• 该框架在原则上优于先前方法（如KL退火和$\beta$-VAE），提供了一种信息论驱动的正则化表征学习替代方案。
• 在Binary MNIST和Omniglot数据集上的实证结果表明，通过RD曲线控制互信息，相比标准ELBO最大化，能实现更好的解耦性和更有意义的潜在表征。
• 使用互信息的变分边界使得即使在真实互信息难以计算的情况下，仍能实现高效且计算上可行的优化。