[论文解读] A Reinforcement Learning Approach to Interactive-Predictive Neural Machine Translation

Tsz Kin Lam, Julia Kreutzer+1 more|arXiv (Cornell University)|May 3, 2018

Natural Language Processing Techniques被引用 22

一句话总结

该论文提出BIP-NMT，一种基于强化学习的交互式预测神经机器翻译系统，通过使用弱反馈（对部分翻译的质量判断）而非完整修正，减少了人工干预。系统仅在模型不确定性较高时触发反馈，并在每次交互后在线更新模型参数。该方法在仅平均每次输入5次反馈请求的情况下，显著提升了翻译质量（字符F值和BLEU）。

ABSTRACT

We present an approach to interactive-predictive neural machine translation that attempts to reduce human effort from three directions: Firstly, instead of requiring humans to select, correct, or delete segments, we employ the idea of learning from human reinforcements in form of judgments on the quality of partial translations. Secondly, human effort is further reduced by using the entropy of word predictions as uncertainty criterion to trigger feedback requests. Lastly, online updates of the model parameters after every interaction allow the model to adapt quickly. We show in simulation experiments that reward signals on partial translations significantly improve character F-score and BLEU compared to feedback on full translations only, while human effort can be reduced to an average number of $5$ feedback requests for every input.

研究动机与目标

• 通过用简单的质量判断替代完整修正，减少交互式预测神经机器翻译中的人工干预。
• 通过基于熵的不确定性作为触发条件，最小化反馈请求次数。
• 通过每次交互后在线更新模型参数，实现实时模型适应。
• 通过利用密集的、分段奖励信号而非稀疏的、句子级别的反馈，提升翻译质量。
• 证明将带 bandit 风格的强化学习应用于神经机器翻译中的序列到序列学习的可行性。

提出的方法

• 系统采用优势演员-评论家框架，其中演员生成部分翻译，评论家估计每项动作的期望奖励。
• 人类反馈以实数值质量判断（例如0到1之间）的形式提供，作为弱奖励信号。
• 仅当模型预测的熵超过基于历史熵的阈值时才触发反馈，表明存在不确定性。
• 每次反馈交互后，使用策略梯度方法在线更新模型参数，以最大化期望累积奖励。
• 将高质量的部分翻译（高于阈值μ）存入前缀缓存中，并在后续推理步骤中用于强制解码。
• 随着演员模型的演化，熵标准动态更新，实现自适应和主动学习。

实验结果

研究问题

• RQ1 以部分翻译的质量判断形式提供的弱反馈，是否比完整序列反馈更有效地提升翻译质量？
• RQ2 基于不确定性的反馈触发机制，是否能减少交互式神经机器翻译中所需的人工交互次数？
• RQ3 每次反馈交互后进行在线模型更新，是否能带来更快的适应速度和更好的性能？
• RQ4 将高质量部分翻译的前缀缓存机制整合到系统中，如何影响整体系统效率和准确性？
• RQ5 强化学习技术是否能有效应用于具有稀疏、延迟奖励的交互式神经机器翻译？

主要发现

• 与仅使用句子级别反馈训练的模型相比，BIP-NMT系统在字符F值和BLEU上均实现了显著提升。
• 人工反馈工作量被减少至平均每次输入仅5次请求，主要得益于基于不确定性的反馈触发机制。
• 使用分段奖励信号带来了比稀疏的句子级反馈更快的收敛速度和更好的适应能力。
• 前缀缓存机制通过重用高质量的部分翻译，提升了翻译质量，尤其在解码后期表现更优。
• 演员-评论家框架实现了稳定且有效的策略学习，评论家通过负优势分数准确识别出问题词（如错误的介词）。
• 仿真结果表明，在线更新显著增强了模型的适应能力，减少了对重复人工干预的需求。