[论文解读] FlowSeq: Non-Autoregressive Conditional Sequence Generation with Generative Flow

Xuezhe Ma, Chunting Zhou+3 more|arXiv (Cornell University)|Sep 5, 2019

Natural Language Processing Techniques参考文献 35被引用 11

一句话总结

FlowSeq 提出了一种非自回归序列生成模型，利用生成流对潜在变量的复杂条件分布进行建模，实现了高效的并行解码。该方法在神经机器翻译（NMT）基准测试中达到最先进性能，解码时间几乎不随序列长度变化，推理速度显著优于标准自回归模型，同时保持了具有竞争力的翻译质量。

ABSTRACT

Most sequence-to-sequence (seq2seq) models are autoregressive; they generate each token by conditioning on previously generated tokens. In contrast, non-autoregressive seq2seq models generate all tokens in one pass, which leads to increased efficiency through parallel processing on hardware such as GPUs. However, directly modeling the joint distribution of all tokens simultaneously is challenging, and even with increasingly complex model structures accuracy lags significantly behind autoregressive models. In this paper, we propose a simple, efficient, and effective model for non-autoregressive sequence generation using latent variable models. Specifically, we turn to generative flow, an elegant technique to model complex distributions using neural networks, and design several layers of flow tailored for modeling the conditional density of sequential latent variables. We evaluate this model on three neural machine translation (NMT) benchmark datasets, achieving comparable performance with state-of-the-art non-autoregressive NMT models and almost constant decoding time w.r.t the sequence length.

研究动机与目标

• 为解决自回归序列生成的低效性问题，即依赖从左到右的标记生成方式，难以并行化。
• 通过表达性强的潜在变量建模输出标记之间的复杂条件依赖关系，提升非自回归序列生成性能。
• 利用生成流实现潜在空间中的高效密度估计与采样，从而实现输出序列联合分布的高质量建模。
• 实现解码时间几乎不随序列长度变化的快速并行解码，与具有超线性时间复杂度的自回归模型形成鲜明对比。
• 提供一种简单、高效且有效的自回归模型替代方案，在显著提升推理速度的同时保持具有竞争力的翻译质量。

提出的方法

• FlowSeq 使用潜在变量 $ \mathbf{z} $ 建模条件分布 $ P_{\theta}(\mathbf{y}|\mathbf{x}) $，其中 $ \mathbf{z} $ 从通过生成流学习的先验 $ p_{\theta}(\mathbf{z}|\mathbf{x}) $ 中采样。
• 生成流用于建模复杂的先验分布 $ p_{\theta}(\mathbf{z}|\mathbf{x}) $，通过可逆且可微的变换实现高效的密度估计与采样。
• 解码器 $ P_{\theta}(\mathbf{y}|\mathbf{z},\mathbf{x}) $ 被分解为独立的标记预测：$ \prod_{t=1}^{T} P_{\theta}(y_t|\mathbf{z},\mathbf{x}) $，从而实现并行生成。
• 模型通过最大似然方法进行训练，使用变分下界，其中基于流的先验捕获输出序列中标记间的依赖关系。
• 推理过程中，从潜在空间中抽取多个 $ \mathbf{z} $ 样本，并行解码后通过束搜索或多样性感知采样进行重排序。
• 通过批处理进一步加速解码，且由于消除了自回归递归机制，解码时间几乎不随序列长度变化。

实验结果

研究问题

• RQ1 生成流能否有效建模潜在变量的先验分布，从而提升非自回归序列生成性能？
• RQ2 FlowSeq 在翻译质量上是否与当前最先进水平的非自回归及自回归模型相当？
• RQ3 FlowSeq 是否能在不同序列长度下保持几乎恒定的解码时间，而不同于具有超线性复杂度的自回归模型？
• RQ4 采样超参数（如温度和候选数）如何影响生成序列的多样性与质量？
• RQ5 FlowSeq 的潜在空间是否可用于可控文本生成或其他下游应用？

主要发现

• FlowSeq 在 WMT2014、WMT2016 和 IWSLT-2014 翻译基准测试中达到与最先进非自回归模型相当的 BLEU 分数。
• 当批大小从 1 增加到 128 时，FlowSeq 的解码速度提升 594%，显著优于自回归 Transformer 在批处理效率方面的表现。
• FlowSeq 的解码时间几乎不随序列长度变化，而自回归 Transformer 的解码时间随序列长度线性增长。
• 增加每个长度候选的采样数（$ r $）可提升重排序后的 BLEU 分数，最优性能出现在较大采样量和中等温度（0.3–0.5）时。
• 较高的采样温度（0.3–0.5）可提升输出多样性而不损失翻译质量；而温度为 1.0 时引入过多噪声，导致性能下降。
• 与束搜索相比，FlowSeq 生成的假设具有更高的多样性（更低的成对 BLEU），结合较高温度后，在 WMT14-ENDE 测试集上实现了多样性和质量之间的良好权衡。