[论文解读] A Stable and Effective Learning Strategy for Trainable Greedy Decoding

Yun Chen, Victor O. K. Li+2 more|arXiv (Cornell University)|Apr 21, 2018

Natural Language Processing Techniques参考文献 37被引用 5

一句话总结

本文提出了一种稳定且高效的方法，通过训练一个小型执行者网络，利用从束搜索输出中衍生的伪并行语料来提升神经序列模型中的贪婪解码质量。执行者网络通过标准反向传播在高分序列（按BLEU等指标排序）上进行训练，从而在保持贪婪解码速度的同时，实现显著的翻译质量提升——性能匹配或超过束搜索，且额外计算或训练时间极少。

ABSTRACT

Beam search is a widely used approximate search strategy for neural network decoders, and it generally outperforms simple greedy decoding on tasks like machine translation. However, this improvement comes at substantial computational cost. In this paper, we propose a flexible new method that allows us to reap nearly the full benefits of beam search with nearly no additional computational cost. The method revolves around a small neural network actor that is trained to observe and manipulate the hidden state of a previously-trained decoder. To train this actor network, we introduce the use of a pseudo-parallel corpus built using the output of beam search on a base model, ranked by a target quality metric like BLEU. Our method is inspired by earlier work on this problem, but requires no reinforcement learning, and can be trained reliably on a range of models. Experiments on three parallel corpora and three architectures show that the method yields substantial improvements in translation quality and speed over each base system.

研究动机与目标

• 开发一种稳定且有效的可训练贪婪解码学习策略，避免强化学习带来的不稳定性。
• 在不增加推理成本的前提下，提升贪婪解码质量，使其达到或超过束搜索性能。
• 使该方法可跨多种架构和评估指标应用，而无需重新训练基础模型。
• 从束搜索输出中生成可靠且高质量的伪并行语料，用于训练执行者网络。
• 证明该方法在BLEU、METEOR、TER等翻译指标上实现显著提升，且仅增加少量参数。

提出的方法

• 训练一个小型执行者网络，在推理过程中观察并修改预训练解码器的隐藏状态。
• 通过在基础模型上运行束搜索（大束大小）并依据目标指标（如BLEU）对输出进行排序，构建伪并行语料。
• 将筛选出的高质量输出作为监督训练数据，通过标准反向传播训练执行者网络。
• 将训练好的执行者集成到推理流程中，利用修改后的隐藏状态引导贪婪解码。
• 通过在RNN、ConvS2S和Transformer模型上应用，确保方法与架构无关。
• 使用模型特定的人工数据集对执行者网络进行标准反向传播训练，避免使用强化学习。

实验结果

研究问题

• RQ1 是否能够通过可训练的执行者网络显著提升贪婪解码性能，同时不增加推理成本？
• RQ2 是否可能在不使用强化学习的情况下，稳定且有效地训练此类执行者网络？
• RQ3 伪并行语料的质量如何影响最终的解码性能？
• RQ4 该方法是否能在不同神经序列模型和评估指标间实现泛化？
• RQ5 在保持贪婪解码速度的同时，该方法在多大程度上能匹配或超越束搜索性能？

主要发现

• 在IWSLT16德语-英语数据集上，该方法在Transformer模型上实现了28.36的BLEU分数，优于贪婪解码（27.15 BLEU）和束搜索（28.74 BLEU），且在相同目标下进行训练。
• 在WMT14德语-英语数据集上，该方法在METEOR（MTR）上相比贪婪解码提升了0.7分，相比束搜索提升了0.3分。
• 当在-sTER目标下训练时，该方法相比束搜索将句级TER降低了0.5分，相比贪婪解码降低了3.0分。
• 性能提升在三种架构（RNN、ConvS2S、Transformer）上均保持一致，证明了其广泛适用性。
• 该方法仅增加少量参数和极少训练时间，通过标准反向传播而非不稳定的强化学习，实现了这些改进。
• 基于高分束搜索输出的伪并行语料构建策略在多个数据集和模型上均表现出有效性和可扩展性。