[论文解读] Bag-of-Words as Target for Neural Machine Translation
本文提出了一种神经机器翻译的新型训练目标，该目标联合优化参考翻译及其对应的词袋表示。通过将词袋作为辅助目标，模型鼓励生成训练数据中未见的多样化、正确的翻译，相较于强基线模型，在中文-英文数据集上实现了4.55 BLEU点的提升。
A sentence can be translated into more than one correct sentences. However, most of the existing neural machine translation models only use one of the correct translations as the targets, and the other correct sentences are punished as the incorrect sentences in the training stage. Since most of the correct translations for one sentence share the similar bag-of-words, it is possible to distinguish the correct translations from the incorrect ones by the bag-of-words. In this paper, we propose an approach that uses both the sentences and the bag-of-words as targets in the training stage, in order to encourage the model to generate the potentially correct sentences that are not appeared in the training set. We evaluate our model on a Chinese-English translation dataset, and experiments show our model outperforms the strong baselines by the BLEU score of 4.55.
研究动机与目标
- 为解决标准NMT模型仅对每个句子使用一个参考译文时，对正确但未见的翻译施加惩罚的问题。
- 通过利用多个正确翻译之间的共享词内容，缓解神经机器翻译中的数据稀疏性问题。
- 通过鼓励生成与参考词袋匹配的多样化、语义有效的翻译，提升模型泛化能力。
- 在训练过程中使用词袋作为软监督信号，超越标准的交叉熵损失，以提升翻译质量。
提出的方法
- 模型采用编码器-解码器框架的序列到序列架构，其中编码器为双向LSTM，解码器为带有注意力机制的单向LSTM。
- 词袋被视为一个多标签分类问题，模型根据所有解码器位置的词得分总和，预测翻译中词的出现情况。
- 在每个时间步，从解码器输出分布聚合句子级别的词得分，并应用Sigmoid分类器，预测参考词袋中应包含的词。
- 最终损失结合了标准交叉熵损失（用于目标序列）和二元交叉熵损失（用于词袋预测），实现联合优化。
- 注意力机制通过软注意力机制，将解码器隐藏状态与编码器表示对齐，计算上下文向量。
- 模型以端到端方式联合训练两个目标，使编码器、解码器和词存在预测头能够共同更新。
实验结果
研究问题
- RQ1将词袋作为辅助训练目标，能否提升神经机器翻译输出的多样性和正确性？
- RQ2与标准NMT相比，对参考序列及其词袋表示进行联合优化，对BLEU分数有何影响？
- RQ3该模型在多大程度上能生成高质量、未在训练集中出现的正确翻译？
- RQ4使用词袋作为监督信号，能否减少对语义有效但结构不同的翻译的惩罚？
- RQ5与现有将词袋作为隐变量或辅助损失的方法相比，所提方法表现如何？
主要发现
- 所提模型在NIST中文-英文翻译数据集上，相较于强基线模型，实现了4.55 BLEU点的提升。
- 与基线模型相比，该模型生成的翻译更具信息量且更准确，对参考词袋中的关键词覆盖更好。
- 定性分析显示，该模型生成的翻译更少遗漏关键内容，也更少包含冗余或未知词符。
- 通过与词袋表示对齐，该模型成功降低了对正确但未见翻译的惩罚。
- 与将词袋作为隐变量或辅助约束的现有方法相比，该方法直接监督解码器输出分布，表现更优。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。