[论文解读] Discrete Flows: Invertible Generative Models of Discrete Data

Dustin Tran, Keyon Vafa+3 more|arXiv (Cornell University)|May 24, 2019

Natural Language Processing Techniques参考文献 40被引用 40

一句话总结

本文将归一化流扩展到离散数据，使用离散自回归和离散双分区流，实现双向的精确似然和快速的非自回归生成。

ABSTRACT

While normalizing flows have led to significant advances in modeling high-dimensional continuous distributions, their applicability to discrete distributions remains unknown. In this paper, we show that flows can in fact be extended to discrete events---and under a simple change-of-variables formula not requiring log-determinant-Jacobian computations. Discrete flows have numerous applications. We consider two flow architectures: discrete autoregressive flows that enable bidirectionality, allowing, for example, tokens in text to depend on both left-to-right and right-to-left contexts in an exact language model; and discrete bipartite flows that enable efficient non-autoregressive generation as in RealNVP. Empirically, we find that discrete autoregressive flows outperform autoregressive baselines on synthetic discrete distributions, an addition task, and Potts models; and bipartite flows can obtain competitive performance with autoregressive baselines on character-level language modeling for Penn Tree Bank and text8.

研究动机与目标

• 使用离散变量变换框架将归一化流扩展到离散分布。
• 为离散数据提供两种可逆架构：离散自回归流和离散双分区流。
• 在合成任务和字符级语言建模中展示建模能力和生成速度的提升。

提出的方法

• 为可逆离散 f 定义离散变换公式 p(y)=p(x=f^{-1}(y))。
• 开发离散自回归流，以堆叠自回归层并通过精确似然实现双向性。
• 开发离散双分区（耦合）流，以实现快速并行生成并具备精确似然。
• 使用直通梯度估计结合 Gumbel-softmax 松弛对离散输出进行训练（温度 tau=0.1）。
• 在离散化混合分布、满秩离散分布、一个加法任务、Potts 模型以及字符级语言建模上进行评估。

实验结果

研究问题

• RQ1 归一化流是否可以在不进行对数行列式雅可比计算的情况下扩展到离散数据？
• RQ2 离散自回归流是否能够实现双向的精确似然并优于仅自回归的基线？
• RQ3 离散双分区流是否在提供竞争性性能的同时实现更快的非自回归生成？
• RQ4 离散流在合成离散分布和真实文本数据（字符级语言建模）上的表现如何？

主要发现

• 离散流通过离散变换公式将归一化流扩展到离散数据，该公式省略对数行列式项。
• 离散自回归流在合成离散分布、一个加法任务和 Potts 模型上相对于自回归基线带来改进的对数似然。
• 离散双分区流在表现上与自回归基线竞争力强，同时实现快速并行生成。
• 使用离散双分区流的字符级语言建模在 Penn Tree Bank 上达到 1.38 bits per character，在 text8 上达到 1.23 bits per character，生成速度比自回归模型快超过 100x。