[论文解读] A Simple, Fast Diverse Decoding Algorithm for Neural Generation

Jiwei Li, Will Monroe+1 more|arXiv (Cornell University)|Nov 25, 2016

Natural Language Processing Techniques参考文献 46被引用 227

一句话总结

介绍一种促进多样性的束搜索，通过对同级展开进行惩罚来生成多样的N-best列表，并提供一个可选的强化学习组件以按输入自适应多样性速率。

ABSTRACT

In this paper, we propose a simple, fast decoding algorithm that fosters diversity in neural generation. The algorithm modifies the standard beam search algorithm by adding an inter-sibling ranking penalty, favoring choosing hypotheses from diverse parents. We evaluate the proposed model on the tasks of dialogue response generation, abstractive summarization and machine translation. We find that diverse decoding helps across all tasks, especially those for which reranking is needed. We further propose a variation that is capable of automatically adjusting its diversity decoding rates for different inputs using reinforcement learning (RL). We observe a further performance boost from this RL technique. This paper includes material from the unpublished script "Mutual Information and Diverse Decoding Improve Neural Machine Translation" (Li and Jurafsky, 2016).

研究动机与目标

• 在神经生成任务中，仅一个最优假设不足以满足需求时，激发对多样化输出的需求。
• 提出一种简单、快速的解码修改，增加多样性而不牺牲速度，适用于批处理的 GPU 解码。
• 在对话应答生成、抽象摘要和机器翻译等任务上展示改进。
• 探索一种自动方法（DiverseRL），通过强化学习按输入调节多样性速率。

提出的方法

• 通过增加一个惩罚同级展开的多样性项来修改标准束搜索：\nŜ(Y_{t-1}^{k},y_{t}^{k,k′}|x)=S(Y_{t-1}^{k},y_{t}^{k,k′}|x)−γ k′，其中 k′ 是同级中的排名，γ 是多样性速率。
• 在每一步维持 K 个假设，并根据修改后的分数 Ŝ 选择前 K 个。
• 在 GPUs 上实现批处理解码，以比基于短语的系统更快地进行多样解码。
• 将该方法扩展为 diverseRL，一种强化学习策略从预定义集合 Γ 中为 γ(X) 选择，以优化最终奖励（例如 BLEU）。
• 使用带基线的策略梯度（REINFORCE）在训练时学习 γ(X)，同时保持编码器-解码器参数固定。

实验结果

研究问题

• RQ1 相较于标准束搜索，促进多样性的解码是否能在神经生成任务（对话、摘要、MT）中提升输出质量？
• RQ2 多样性速率 γ 如何影响性能，是否可以对每个输入学习 γ 以获得进一步提升？
• RQ3 在哪些任务中，多样化解码能够带来最大的收益，特别是在存在重新排序或多样化的真实输出时？

主要发现

• 多样化解码在对话应答生成、抽象摘要和机器翻译中提升输出，尤其是在存在重新排序或多样化真实输出时。
• 固定多样性速率 γ 在多个任务中带来提升，对较长或需要重新排序的输出收益更大。
• DiverseRL 通过自动为每个输入调整 γ(X) 进一步提升性能，在某些设定中带来额外的 BLEU/MIRA 类增益。
• 在应答生成中，人工评估偏好多样解码方法的输出胜过标准束搜索。
• 在机器翻译中，多样性的收益相对温和，表明目标分布的熵值很低限制了多样性的影响。