[论文解读] Later-stage Minimum Bayes-Risk Decoding for Neural Machine Translation

Raphael Shu, Hideki Nakayama|arXiv (Cornell University)|Apr 11, 2017

Natural Language Processing Techniques参考文献 17被引用 8

一句话总结

本文提出了一种后期最小贝叶斯风险（MBR）解码方法用于神经机器翻译，其中 MBR 重排序仅在束搜索之后应用，以优化最佳假设。该方法在所有束大小下均优于标准 MBR 重排序，并通过批量 GPU 计算差异矩阵加速贝叶斯风险计算，实现在不损失质量的前提下更快的推理速度。

ABSTRACT

For extended periods of time, sequence generation models rely on beam search algorithm to generate output sequence. However, the correctness of beam search degrades when the a model is over-confident about a suboptimal prediction. In this paper, we propose to perform minimum Bayes-risk (MBR) decoding for some extra steps at a later stage. In order to speed up MBR decoding, we compute the Bayes risks on GPU in batch mode. In our experiments, we found that MBR reranking works with a large beam size. Later-stage MBR decoding is shown to outperform simple MBR reranking in machine translation tasks.

研究动机与目标

• 为解决标准 MBR 重排序的局限性，即仅在大束大小下提升性能且计算成本高昂。
• 克服在搜索过程中因 MBR 重排序导致束搜索陷入次优区域的问题。
• 通过批量 GPU 处理加速 MBR 解码的贝叶斯风险计算。
• 探究在束搜索之后（即后期）应用 MBR 解码是否能优于并行或早期阶段的 MBR 重排序。
• 评估不同束大小和证据空间大小下后期 MBR 解码的有效性。

提出的方法

• 该方法首先执行束搜索，保存前 B 个完成的假设和 B 个被丢弃的假设，以构成证据空间 E 和候选列表 H。
• 束搜索完成后，算法通过从 H 中选择贝叶斯风险最低的假设来应用 MBR 解码，该风险基于候选之间的差异性计算。
• 差异性使用平滑 BLEU 进行度量，贝叶斯风险 R(y) 计算为 E 中所有候选的期望损失。
• 差异矩阵通过 GPU 上的向量化操作批量计算，与基于 CPU 的实现相比显著减少了计算时间。
• 该方法避免在束搜索过程中集成 MBR，以保持搜索多样性并防止过早收敛。
• 该方法使用标准 NMT 模型进行束搜索，随后通过后处理 MBR 步骤从优化后的候选池中选择风险最低的假设。

实验结果

研究问题

• RQ1 在束搜索之后应用 MBR 重排序（即后期 MBR）是否优于在束搜索过程中应用的标准 MBR 重排序？
• RQ2 后期 MBR 解码在不同束大小下的性能表现如何？
• RQ3 基于 GPU 的批量贝叶斯风险计算是否能显著降低 MBR 解码的时间开销？
• RQ4 为何标准 MBR 重排序仅在大束大小下有效？
• RQ5 证据空间的大小如何影响 MBR 重排序的有效性？

主要发现

• 后期 MBR 解码在所有束大小下均优于标准 MBR 重排序，当 B=100 时 BLEU 得分为 35.87，而标准 MBR 重排序为 35.70。
• 标准 MBR 重排序仅在大束大小下（如 B=100 时 BLEU 为 35.65）提升性能，而后期 MBR 在小束大小下也表现出一致增益（如 B=5 时 BLEU 为 34.96）。
• 基于 GPU 的贝叶斯风险计算将每句重排序时间从 CPU 上的数分钟缩短至毫秒级，且时间开销呈线性增长而非指数增长。
• 使用近似差异值（平滑 BLEU）的性能与精确计算几乎相同，实现了更快推理而无质量损失。
• 证据空间中证据候选的数量必须仔细选择；使用超过束大小的候选数会降低性能。
• 该方法对束大小的选择具有鲁棒性，表明后期 MBR 解码能有效弥补束搜索结果的次优性。