[论文解读] Cyclical Annealing Schedule: A Simple Approach to Mitigating KL Vanishing

Hao Fu, Chunyuan Li+4 more|arXiv (Cornell University)|Mar 25, 2019

Algorithms and Data Compression参考文献 36被引用 168

一句话总结

引入一个用于 KL 项在文本 VAE 中的循环退火计划，多次重新打开 Path A，逐步学习有意义的潜在编码并在几乎无额外成本的情况下减少 KL 消失。

ABSTRACT

Variational autoencoders (VAEs) with an auto-regressive decoder have been applied for many natural language processing (NLP) tasks. The VAE objective consists of two terms, (i) reconstruction and (ii) KL regularization, balanced by a weighting hyper-parameter β. One notorious training difficulty is that the KL term tends to vanish. In this paper we study scheduling schemes for β, and show that KL vanishing is caused by the lack of good latent codes in training the decoder at the beginning of optimization. To remedy this, we propose a cyclical annealing schedule, which repeats the process of increasing βmultiple times. This new procedure allows the progressive learning of more meaningful latent codes, by leveraging the informative representations of previous cycles as warm re-starts. The effectiveness of cyclical annealing is validated on a broad range of NLP tasks, including language modeling, dialog response generation and unsupervised language pre-training.

研究动机与目标

• 解释在带自回归解码器的 VAE 中的 KL 消失及其原因。
• 提出循环退火作为低成本、有效的 VAE 训练计划。
• 在语言建模、对话生成和无监督预训练中展示该方法。

提出的方法

• 将文本的 VAE 模型设定为自回归解码器，并具有两个潜在学习路径（Path A 通过 z，Path B 通过 x_{<t}）。
• 提出循环退火：多次循环，其中 beta 从 0 增加到 1，然后重置，使用来自前几轮的热启动。
• 用基于循环的调度形式化 beta_t：beta_t 遵循 f(tau) 然后在该循环的剩余阶段设为 1；引入 M 个循环和 R 的占比用于退火。
• 通过下界分析，将 beta、互信息 I(z;n) 与 KL 项联系起来，提供 beta 的影响的理论见解。
• 将循环调度与常数和单调调度进行比较，显示它促使更高的 KL 和更丰富的潜在表示。
• 在语言建模（PTB）、对话响应生成（Switchboard）和无监督语言预训练（Yelp）上进行验证。

实验结果

研究问题

• RQ1 对于文本的带自回归解码器的 VAE，KL 消失的原因是什么？
• RQ2 循环 beta 调度是否能在不产生额外计算成本的情况下改进潜在编码学习与解码器的使用？
• RQ3 循环退火与常数和单调调度在诸如语言建模、对话生成和无监督预训练等 NLP 任务中有何比较？
• RQ4 通过循环调度重新打开 Path A 是否会产生更结构化的潜在空间并带来更好的下游表现？

主要发现

• 循环退火在训练中导致重构误差下降、KL 上升，相对于单调调度。
• 该方法在各个循环中性能逐步提升，表明来自先前潜在表示的热启动好处。
• 在对话生成中，循环调度增加 KL 和 BLEU 分数，并产生比单调调度更丰富的回复。
• 对于无监督预训练，循环调度产生更高的下游精度和更清晰的潜在聚类（通过 t-SNE 可视化）。
• 与标准 VAE 训练相比，该方法在几乎无额外计算成本下实现改进。
• 消融研究表明收益主要来自循环的 beta 调度，而非学习率的循环。