[论文解读] Data Selection with Feature Decay Algorithms Using an Approximated Target Side

Alberto Poncelas, Gideon Maillette de Buy Wenniger+1 more|arXiv (Cornell University)|Nov 7, 2018

Natural Language Processing Techniques被引用 5

一句话总结

本文提出通过在标准的源端测试集之外，引入通过预翻译生成的近似目标端，来增强神经机器翻译（NMT）数据选择中的特征衰减算法（FDA），以提升翻译质量。该方法通过选择与测试输入语义和领域更相关的句子对，实现了相比全数据训练的1.5+ BLEU点显著提升，以及相比仅使用源端的FDA基线超过0.5 BLEU的性能增益。

ABSTRACT

Data selection techniques applied to neural machine translation (NMT) aim to increase the performance of a model by retrieving a subset of sentences for use as training data. One of the possible data selection techniques are transductive learning methods, which select the data based on the test set, i.e. the document to be translated. A limitation of these methods to date is that using the source-side test set does not by itself guarantee that sentences are selected with correct translations, or translations that are suitable given the test-set domain. Some corpora, such as subtitle corpora, may contain parallel sentences with inaccurate translations caused by localization or length restrictions. In order to try to fix this problem, in this paper we propose to use an approximated target-side in addition to the source-side when selecting suitable sentence-pairs for training a model. This approximated target-side is built by pre-translating the source-side. In this work, we explore the performance of this general idea for one specific data selection approach called Feature Decay Algorithms (FDA). We train German-English NMT models on data selected by using the test set (source), the approximated target side, and a mixture of both. Our findings reveal that models built using a combination of outputs of FDA (using the test set and an approximated target side) perform better than those solely using the test set. We obtain a statistically significant improvement of more than 1.5 BLEU points over a model trained with all data, and more than 0.5 BLEU points over a strong FDA baseline that uses source-side information only.

研究动机与目标

• 为解决NMT中归纳式数据选择的局限性，即仅依赖源端测试集，可能导致选择翻译质量差或不准确的句子。
• 通过引入基于测试集预翻译生成的近似目标端，提升数据选择的相关性。
• 探究结合源端和目标端FDA输出是否能带来优于仅使用源端的NMT模型性能。
• 评估合成目标端数据对特定领域翻译任务中训练数据多样性和模型泛化能力的影响。

提出的方法

• 使用初始NMT模型对源端测试集进行预翻译，生成近似目标端（test_trg）。
• 在源端测试集（test_src）和预翻译的目标端（test_trg）上分别独立应用特征衰减算法（FDA），以检索相关的训练句子对。
• 通过超参数α控制权重，将FDA_src和FDA_trg的输出进行加权混合。
• 使用组合后的训练数据微调一个德语-英语NMT模型，并通过BLEU分数评估性能。
• 进行消融实验，分析各组件的贡献以及FDA_src与FDA_trg输出间数据重叠的影响。
• 采用全数据训练的强基线和仅使用源端的FDA基线进行对比。

实验结果

研究问题

• RQ1 在FDA中引入近似目标端是否能相比仅使用源端测试集，提升NMT模型性能？
• RQ2 结合源端和目标端FDA输出如何影响数据多样性和模型泛化能力？
• RQ3 FDA_src与FDA_trg输出之间的数据重叠对模型性能和训练数据质量有何影响？
• RQ4 测试集的预翻译能否作为归纳式数据选择中目标端相关性的可靠代理？
• RQ5 加权组合FDA输出是否优于对等权重或单一源端的主导权重？

主要发现

• 使用源端和近似目标端的FDA输出组合进行训练的模型，相比全数据集训练，实现了超过1.5 BLEU点的统计显著提升。
• 组合FDA方法相比强大的仅使用源端的FDA基线，性能提升超过0.5 BLEU点，证明了目标端信息的价值。
• 训练数据中唯一句子对的数量占82%至94%，表明FDA_src与FDA_trg检索到的句子对在很大程度上是不同的，尤其在数据量较小时更为明显。
• 随着所选句子数量的增加，FDA_src与FDA_trg输出之间的重叠逐渐增大，唯一行数比例从50万条时的94%下降至200万条时的82%，表明检索行为趋于收敛。
• 该方法通过优先选择翻译更准确或语境更相关的句子对，有效缓解了字幕语料中因长度或时间限制导致的翻译不准确问题。
• 结果表明，合成目标端数据可作为数据选择中的宝贵信号，尤其在特定领域或低资源设置中具有显著价值。