[论文解读] A Batch Normalized Inference Network Keeps the KL Vanishing Away

Qile Zhu, Jianlin Su+5 more|arXiv (Cornell University)|Apr 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 4

一句话总结

本文提出批量归一化变分自编码器（BN-VAE），一种简单而有效的方法，通过确保在整个数据集上Kullback-Leibler（KL）散度遵循某种分布并保持其期望为正，来防止使用自回归解码器的变分自编码器（VAE）中的后验崩溃问题。通过批量归一化近似后验分布参数，BN-VAE在不修改目标函数或增加新组件的前提下，强制实现了期望KL散度的下界，从而在语言建模、文本分类和对话生成等任务中优于强基线模型，同时保持了训练效率。

ABSTRACT

Variational Autoencoder (VAE) is widely used as a generative model to approximate a model's posterior on latent variables by combining the amortized variational inference and deep neural networks. However, when paired with strong autoregressive decoders, VAE often converges to a degenerated local optimum known as "posterior collapse". Previous approaches consider the Kullback Leibler divergence (KL) individual for each datapoint. We propose to let the KL follow a distribution across the whole dataset, and analyze that it is sufficient to prevent posterior collapse by keeping the expectation of the KL's distribution positive. Then we propose Batch Normalized-VAE (BN-VAE), a simple but effective approach to set a lower bound of the expectation by regularizing the distribution of the approximate posterior's parameters. Without introducing any new model component or modifying the objective, our approach can avoid the posterior collapse effectively and efficiently. We further show that the proposed BN-VAE can be extended to conditional VAE (CVAE). Empirically, our approach surpasses strong autoregressive baselines on language modeling, text classification and dialogue generation, and rivals more complex approaches while keeping almost the same training time as VAE.

研究动机与目标

• 解决在使用强大自回归解码器时VAE中的后验崩溃问题，该问题会导致KL散度消失。
• 开发一种方法，确保在整个数据集上KL散度的期望为正，从而防止退化解。
• 避免固定KL值或引入额外训练循环的局限性，确保高训练效率。
• 将该方法扩展至条件变分自编码器（CVAE），用于对话生成及其他条件生成任务。
• 证明KL散度的分布视角足以防止后验崩溃，而无需修改VAE目标函数。

提出的方法

• 将KL散度建模为在整个数据集上的分布，而非按每个数据点处理。
• 提出批量归一化变分自编码器（BN-VAE），对推理网络输出层的参数应用批量归一化，以正则化后验均值和方差的分布。
• 证明这种正则化可确保期望KL散度具有正的下界，防止其坍缩至零。
• 在不引入新组件或修改损失函数的前提下，保持标准VAE目标函数。
• 通过在条件推理网络中应用相同的批量归一化，将BN-VAE扩展至条件变分自编码器（CVAE）。
• 以高斯先验为基线，可通过高斯近似扩展至其他先验分布。

实验结果

研究问题

• RQ1 将KL散度建模为数据集上的分布，是否能有效防止使用自回归解码器的VAE中的后验崩溃？
• RQ2 保持KL分布的期望为正，是否足以避免退化解？
• RQ3 对后验参数进行批量归一化，是否能有效正则化KL分布，而无需修改VAE目标函数？
• RQ4 BN-VAE是否在下游NLP任务中优于强自回归基线模型，同时保持训练速度？
• RQ5 BN-VAE能否有效扩展至条件VAE，用于对话生成？

主要发现

• BN-VAE有效防止了使用自回归解码器的VAE中的后验崩溃，训练过程中KL值稳定且非零。
• 在语言建模任务中，BN-VAE超越了强自回归基线模型，且BLEU分数与最先进方法相当。
• 在文本分类任务中，BN-VAE的准确率高于标准VAE，且与更复杂模型结果相当。
• 在对话生成任务中，BN-VAE生成的回复比标准CVAE更具相关性、流畅性和信息量，人类评估在相关性和信息量方面得分更高。
• 人工评估显示，BN-VAE在流畅性、相关性和信息量三项指标中，获得‘高’（3分）评分的回复比例最高。
• 自动评估结果证实，BN-VAE在召回率和余弦距离指标上优于标准CVAE，表明其生成回复更具多样性与质量。