[论文解读] Sequence-to-Sequence Learning as Beam-Search Optimization

Sam Wiseman, Alexander M. Rush|arXiv (Cornell University)|Jun 9, 2016

Natural Language Processing Techniques参考文献 41被引用 117

一句话总结

本论文为 seq2seq 模型引入 beam-search optimization (BSO)，通过 LaSO 启发的损失训练以对序列进行评分而非对单词评分，在单词顺序、依存分析和机器翻译方面相对于标准 seq2seq 基线有改进。

ABSTRACT

Sequence-to-Sequence (seq2seq) modeling has rapidly become an important general-purpose NLP tool that has proven effective for many text-generation and sequence-labeling tasks. Seq2seq builds on deep neural language modeling and inherits its remarkable accuracy in estimating local, next-word distributions. In this work, we introduce a model and beam-search training scheme, based on the work of Daume III and Marcu (2005), that extends seq2seq to learn global sequence scores. This structured approach avoids classical biases associated with local training and unifies the training loss with the test-time usage, while preserving the proven model architecture of seq2seq and its efficient training approach. We show that our system outperforms a highly-optimized attention-based seq2seq system and other baselines on three different sequence to sequence tasks: word ordering, parsing, and machine translation.

研究动机与目标

• 通过在训练中与测试时解码对齐来解决 seq2seq 训练中的曝光偏差。
• 通过在训练中使用序列级成本来缓解损失-评估不匹配。
• 通过受约束的 beam search 在生成时实现硬序列约束。
• 在维持模型结构与训练效率的同时对整个序列进行评分而不是逐个单词。

提出的方法

• 用非概率性的序列评分函数 f(w_t, h_{t-1}, x) 取代以单词为单位的概率训练。
• 采用类似 LaSO 的 beam-search 训练方案，当黄金序列掉出 beam 时进行惩罚（BSO）。
• 前向传播使用 beam search 构造候选序列以发现边际违反；反向传播通过偏离黄金前缀的序列进行。
• 通过自定义后继函数 succ，在训练期间强制有效序列来实现硬约束（ConBSO）。
• 先用标准的逐词交叉熵进行预训练，以便有效学习非本地模型。
• 使用 dropout 和 curriculum beam 策略来稳定训练并改善收敛。

实验结果

研究问题

• RQ1 一个用 beam-search 启发损失训练的非概率序列评分 seq2seq 模型，是否在多样化任务上优于标准逐词 seq2seq 训练？
• RQ2 LaSO 启发的 beam search 训练是否缓解 seq2seq 模型中的曝光偏差和标签偏差？
• RQ3 硬约束（ConBSO）和约束 beam search 是否进一步提升如解析这类结构化输出任务的性能？
• RQ4 训练时的 beam 大小（K_tr）与测试时解码 beam 大小（K_te）在性能上的关系如何？
• RQ5 与传统 seq2seq 训练相比，BSO 的实际训练成本与可扩展性成本有哪些？

主要发现

Table/Table Type	Metric	K_te = 1	K_te = 5	K_te = 10
单词顺序	BLEU	25.2	29.8	31.0
依存解析	UAS/LAS	87.33/82.26	91.00/87.18	91.17/87.41
机器翻译	BLEU	22.53	24.03	23.87

• 单词顺序：BLEU 从 25.2（seq2seq）提升到 28.0（BSO），在 K_te=1,5,10 时分别达到 28.6（ConBSO）。
• 依存解析：BSO 在 K_te=5 时达到 91.00/87.18（UAS/LAS），在 K_te=10 时达到 91.17/87.41，较 seq2seq 有所提升。
• 机器翻译：BLEU 从 22.53（seq2seq）提升到 23.83（BSO）在 K_te=1，且在 K_te=5/10 的 SB- Delta 设置下达到 26.36/25.48。
• Constrained training (ConBSO) 常常带来最强增益，例如在单词顺序和解析方面。
• Beam-size considerations: larger training beams can improve test-time performance but require careful tuning (curriculum beam).
• Training costs scale with beam size but remain manageable with shared BRNN computations; approximately a constant factor increase (~3.3x) for forward/backward passes observed on MT task.