[论文解读] GANS for Sequences of Discrete Elements with the Gumbel-softmax Distribution

Matt J. Kusner, José Miguel Hernández-Lobato|arXiv (Cornell University)|Nov 12, 2016

Generative Adversarial Networks and Image Synthesis参考文献 11被引用 207

一句话总结

本文提出使用带有 Gumbel-softmax 输出的 GAN，通过 LSTM 生成离散标记序列，从而实现离散序列数据的可微分训练。它展示了学习一个 CFG 生成的文本任务，并分析带温度退火的训练动态。

ABSTRACT

Generative Adversarial Networks (GAN) have limitations when the goal is to generate sequences of discrete elements. The reason for this is that samples from a distribution on discrete objects such as the multinomial are not differentiable with respect to the distribution parameters. This problem can be avoided by using the Gumbel-softmax distribution, which is a continuous approximation to a multinomial distribution parameterized in terms of the softmax function. In this work, we evaluate the performance of GANs based on recurrent neural networks with Gumbel-softmax output distributions in the task of generating sequences of discrete elements.

研究动机与目标

• 为生成离散序列而设计的 Generative Adversarial Networks 提出动机，其中反向传播并非直接可行。
• 引入 Gumbel-softmax 分布，以从离散标记空间获得可微分的样本。
• 构建并训练基于 LSTM 的 GAN，以生成离散序列，如文本标记。
• 在 CFG 生成的序列任务上评估该方法，并分析训练动态和超参数。

提出的方法

• 使用 Gumbel-softmax（方程 4）从离散输出分布中创建可微分样本。
• 将生成器和判别器表示为带可训练参数的 LSTM，以建模序列。
• 通过对 G 和 D 的交替更新来实现对抗目标的 GAN 训练，如 Algorithm 1 所示。
• 在训练期间将 Gumbel-softmax 温度 tau 从 5 降至 1，以实现从软样本向更硬样本的转变。
• 提供一个受控的 CFG 基于序列生成任务（最大长度 12；5000 个样本）用于评估。
• 应用固定学习率 0.001 的 ADAM 优化及小批量大小 200。

实验结果

研究问题

• RQ1 Gumbel-softmax 是否能够实现对离散元素序列上 GAN 的可微分训练？
• RQ2 温度退火如何影响离散序列 GAN 的质量和学习动态？
• RQ3 带有 Gumbel-softmax 的 GAN 学习 CFG 生成的离散序列任务的能力如何？
• RQ4 当生成器和判别器都为对离散数据的 LSTM 时，它们在训练过程中的交互如何？

主要发现

• 带有 Gumbel-softmax 的 GAN 能生成与训练数据模式相似的离散序列，如交替的 x 序列。
• 在 CFG 基于的离散序列任务上使用 5000 个样本的训练显示，该方法学会生成现实的序列（例如 x+x−x/x 和 x−x*x*x*x）。
• 在训练中将 Gumbel-softmax 温度从 5 降至 1 能随时间提升可微性和模型性能。
• 在训练期间将生成样本大小增加到 1000 可能影响优化动态和结果。
• 该方法在 20,000 次小批量迭代和 ADAM 优化下得到展示，显示了离散序列生成的可行性初步结果。
• 作者指出可通过诸如变分散度最小化或密度比估计等替代的 GAN 训练方法来改进。