[论文解读] Low-Resource Machine Translation for Low-Resource Languages: Leveraging Comparable Data, Code-Switching and Compute Resources.

Garry Kuwanto, Afra Feyza Akyürek+3 more|arXiv (Cornell University)|Mar 24, 2021

Natural Language Processing Techniques参考文献 59被引用 14

一句话总结

该论文提出了一种弱监督方法，用于低资源神经机器翻译，利用可比单语数据和双语词典，并仅使用极少的计算资源。通过利用基于词典的混编（code-switching）和适度的计算资源，该方法在英语→古吉拉特语翻译任务上相比有监督基线模型实现了高达+18.88的BLEU提升，证明了在数据和计算资源有限的情况下仍具有出色的性能。

ABSTRACT

We conduct an empirical study of unsupervised neural machine translation (NMT) for truly low resource languages, exploring the case when both parallel training data and compute resource are lacking, reflecting the reality of most of the world's languages and the researchers working on these languages. We propose a simple and scalable method to improve unsupervised NMT, showing how adding comparable data mined using a bilingual dictionary along with modest additional compute resource to train the model can significantly improve its performance. We also demonstrate how the use of the dictionary to code-switch monolingual data to create more comparable data can further improve performance. With this weak supervision, our best method achieves BLEU scores that improve over supervised results for English$ ightarrow$Gujarati (+18.88), English$ ightarrow$Kazakh (+5.84), and English$ ightarrow$Somali (+1.16), showing the promise of weakly-supervised NMT for many low resource languages with modest compute resource in the world. To the best of our knowledge, our work is the first to quantitatively showcase the impact of different modest compute resource in low resource NMT.

研究动机与目标

• 解决在无平行语料且计算资源有限的条件下，为真正低资源语言训练高效神经机器翻译模型的挑战。
• 探索利用可比单语数据和双语词典进行弱监督，以改进无监督神经机器翻译的可行性。
• 研究在低资源设置下，适度计算资源对模型性能的影响。
• 证明利用词典对单语数据进行混编，可以生成更有效的可比数据用于训练。
• 量化弱监督神经机器翻译在无平行数据的低资源场景下，相较于完全无监督和有监督基线模型的性能提升。

提出的方法

• 使用双语词典挖掘可比单语数据，为低资源神经机器翻译生成弱监督信号。
• 应用基于词典的混编技术处理单语句子，生成类似平行语料的合成语对用于训练。
• 使用少量额外计算资源，联合单语数据与混编数据训练无监督神经机器翻译模型。
• 在标准无监督神经机器翻译框架（如回译）中引入弱监督数据，以提升对齐效果和翻译质量。
• 系统性地调整计算资源（如训练步数、模型大小），评估其对性能的影响。
• 使用标准指标（如BLEU）在低资源语言对（如英语→古吉拉特语、英语→哈萨克语、英语→索马里语）上评估性能。

实验结果

研究问题

• RQ1 通过双语词典挖掘的可比单语数据，是否能在低资源设置下显著提升无监督神经机器翻译的性能？
• RQ2 利用词典对单语数据进行混编，在多大程度上能提升弱监督神经机器翻译的质量？
• RQ3 在真正低资源语言的无监督神经机器翻译中，计算资源的适度增加对性能有何影响？
• RQ4 在无平行语料的低资源场景下，弱监督神经机器翻译能否超越有监督和无监督基线模型？
• RQ5 在低资源语言对上训练时，不同计算资源水平对模型性能的定量影响如何？

主要发现

• 该方法在英语→古吉拉特语翻译任务上，相比有监督基线模型实现了+18.88的BLEU提升。
• 在英语→哈萨克语任务中，相比有监督模型，BLEU得分提升了+5.84，表明在低资源设置下具有显著优势。
• 在英语→索马里语任务中，BLEU得分提升了+1.16，表明即使在最具挑战性的低资源语言对上，也能实现稳定提升。
• 基于词典的混编显著提升了可比数据的质量，从而改善了模型对齐与翻译效果。
• 本研究首次对在真正低资源神经机器翻译设置下，适度计算资源对性能的影响进行了定量分析。
• 结果表明，通过词典挖掘可比数据并结合混编技术进行弱监督，可在低资源场景下超越无监督和有监督方法。