[论文解读] Discrete Autoencoders for Sequence Models

Łukasz Kaiser, Samy Bengio|arXiv (Cornell University)|Jan 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 8被引用 35

一句话总结

本文提出一种用于序列模型的离散自编码器，通过改进的语义哈希技术将输入序列压缩到离散潜在空间，实现在不使用退火或额外损失项的情况下通过离散变量进行梯度传播。该方法在新提出的定量度量上实现了超过50%的效率，并通过潜在码采样结合束搜索实现了多样化且语义连贯的文本生成。

ABSTRACT

Recurrent models for sequences have been recently successful at many tasks, especially for language modeling and machine translation. Nevertheless, it remains challenging to extract good representations from these models. For instance, even though language has a clear hierarchical structure going from characters through words to sentences, it is not apparent in current language models. We propose to improve the representation in sequence models by augmenting current approaches with an autoencoder that is forced to compress the sequence through an intermediate discrete latent space. In order to propagate gradients though this discrete representation we introduce an improved semantic hashing technique. We show that this technique performs well on a newly proposed quantitative efficiency measure. We also analyze latent codes produced by the model showing how they correspond to words and phrases. Finally, we present an application of the autoencoder-augmented model to generating diverse translations.

研究动机与目标

• 为解决序列模型中学习有意义离散表示的挑战，特别是针对具有层次结构的自然语言。
• 开发一种可微分的离散自编码器，实现在不依赖退火或辅助损失项的情况下，通过离散潜在变量进行梯度反向传播。
• 提出一种新的定量效率度量方法，用于评估序列建模中离散自编码器的性能。
• 通过从学习到的离散潜在码中采样，再结合束搜索，实现多样化且语义连贯的文本生成。

提出的方法

• 采用改进的语义哈希技术：对于连续向量 v，在训练过程中添加固定的高斯噪声，并应用饱和 Sigmoid 函数生成二值向量 vd。
• 在前向传播中，交替使用软 Sigmoid（v1）和硬二值向量（v2）以稳定训练过程。
• 在反向传播中，即使前向传播使用的是硬二值向量（v2），梯度仍始终通过软版本（v1）流动，采用直通梯度技巧。
• 离散潜在码 c(s) 通过将输入序列 s 压缩为 K 倍缩短的离散符号序列（来自学习到的词表）生成。
• 通过最小化 c(s) 和 s 的拼接序列在条件语言模型上的困惑度来训练模型，以重建原始序列。
• 在解码阶段，从潜在码的独立语言模型中采样 c(s)，然后在原始序列模型上以采样得到的 c(s) 为条件运行束搜索，从而实现多样化输出。

实验结果

研究问题

• RQ1 是否能够仅通过基于梯度的优化方法，在序列模型中有效训练离散自编码器，即使离散变量本身不可微？
• RQ2 如何以一种能同时反映压缩效率与重建质量的方式，对离散自编码器的性能进行定量衡量？
• RQ3 学习到的离散潜在码是否能有意义地对应于语言单位（如单词和短语）？
• RQ4 在神经机器翻译中，通过潜在码采样并结合束搜索生成，能否产生多样化且语义连贯的输出？

主要发现

• 所提出的改进语义哈希技术在新提出的定量度量上实现了超过50%的效率，优于相同设置下的 Gumbel-Softmax 方法。
• 通过可解释性分析表明，模型学习到的潜在码确实对应于有意义的语言单位，如单词和短语。
• 从潜在码中采样后，在原始序列模型上执行束搜索，能够生成多样化且保持语义一致的翻译结果，避免了标准束搜索或纯采样方法中常见的重复与低多样性问题。
• 该方法支持多尺度生成模型的端到端训练，并在强化学习中展现出潜力，允许对高层离散动作进行规划。