[论文解读] Degeneration in VAE: in the Light of Fisher Information Loss

Huangjie Zheng, Jiangchao Yao+2 more|arXiv (Cornell University)|Feb 19, 2018

Energy Load and Power Forecasting参考文献 23被引用 15

一句话总结

本文提出SCVAE，一种通过跳跃连接增强的变分自编码器变体，以缓解深度架构中的退化问题。通过引入费舍尔信息度量进行逐层分析，作者证明了前馈网络中的信息损失本质上会导致退化；跳跃连接在不改变模型复杂度的前提下保留了信息，从而在MNIST数据集上实现了更优的表征学习与生成性能。

ABSTRACT

While enormous progress has been made to Variational Autoencoder (VAE) in recent years, similar to other deep networks, VAE with deep networks suffers from the problem of degeneration, which seriously weakens the correlation between the input and the corresponding latent codes, deviating from the goal of the representation learning. To investigate how degeneration affects VAE from a theoretical perspective, we illustrate the information transmission in VAE and analyze the intermediate layers of the encoders/decoders. Specifically, we propose a Fisher Information measure for the layer-wise analysis. With such measure, we demonstrate that information loss is ineluctable in feed-forward networks and causes the degeneration in VAE. We show that skip connections in VAE enable the preservation of information without changing the model architecture. We call this class of VAE equipped with skip connections as SCVAE and perform a range of experiments to show its advantages in information preservation and degeneration mitigation.

研究动机与目标

• 探究深度变分自编码器（VAEs）中退化现象的根本原因，即更深的网络为何无法维持输入与潜在码之间的相关性。
• 解决互信息在衡量深层编码器/解码器层间信息流时的局限性。
• 提出基于费舍尔信息的度量方法，以量化VAE中各层的信息损失。
• 证明跳跃连接可在不增加模型复杂度的前提下，通过保留层间信息来缓解退化。
• 提出SCVAE（跳跃连接变分自编码器）作为深度VAE的稳健且兼容的增强方法，以同时提升表征学习与生成性能。

提出的方法

• 引入费舍尔信息度量，以量化VAE编码器与解码器中隐藏层间的信息传输损失。
• 将每一层隐藏层的输出建模为参数化的隐式分布，以计算费舍尔信息，实现逐层分析。
• 利用费舍尔信息度量诊断深层VAE中的退化现象，表明在标准前馈网络中信息损失是不可避免的。
• 将跳跃连接整合到VAE架构中，构建SCVAE，实现互补的信息流，保持输入-表征的一致性。
• 在保持原始VAE架构不变的前提下，于编码器与解码器层之间添加跳跃连接，以增强信息保留能力。
• 通过消融实验与SOTA VAE模型（如PixelVAE和VampPrior）的组合实验验证方法的有效性。

实验结果

研究问题

• RQ1 为何VAE中的更深架构仍会导致退化，尽管深层网络在标准深度学习中具有优势？
• RQ2 当互信息难以计算时，如何量化VAE编码器与解码器中各层的信息损失？
• RQ3 在不改变模型复杂度的前提下，跳跃连接在多大程度上可缓解深层VAE中的信息损失与退化？
• RQ4 SCVAE在更深的网络中是否能同时保持强大的表征学习与生成性能？
• RQ5 SCVAE与现有SOTA VAE方法在提升其性能方面具有多大兼容性？

主要发现

• 在VAE中使用的前馈网络中，信息损失是不可避免的，导致潜在码与输入数据之间的相关性丧失，从而引发退化。
• SCVAE在MNIST数据集上实现了最低的测试负对数似然（NLL）80.19和最高的分类准确率0.9588，优于标准VAE和VAE(p++)变体。
• SCVAE中的跳跃连接在编码器与解码器中均有效保留了层间信息，防止了退化，该结论通过t-SNE可视化与费舍尔信息分析得到验证。
• SCVAE在编码器与解码器中均保持了丰富的信息，从而实现了高质量的重建结果与紧凑而有意义的潜在表征。
• 当与PixelVAE或VampPrior结合时，SCVAE进一步提升了性能，联合模型在测试集上达到NLL 79.26与准确率0.9784。
• 费舍尔信息度量揭示，标准VAE存在潜在码“忽视”现象（如PixelVAE中所示），而SCVAE在所有层间维持了均衡的信息流。