[论文解读] Revisiting Low-Resource Neural Machine Translation: A Case Study

Rico Sennrich, Biao Zhang|Zurich Open Repository and Archive (University of Zurich)|May 28, 2019

Natural Language Processing Techniques参考文献 47被引用 25

一句话总结

该论文表明，当使用现代训练技术进行优化时，神经机器翻译（NMT）在低资源设置下可以超越短语基于SMT，即使在德语-英语翻译中仅使用100,000对平行语句也能取得更优结果，并且在韩语-英语翻译中无需辅助数据即可超越先前的SOTA结果4 BLEU。作者倡导将系统性超参数调优、子词正则化和架构改进作为低资源NMT的最佳实践。

ABSTRACT

It has been shown that the performance of neural machine translation (NMT) drops starkly in low-resource conditions, underperforming phrase-based statistical machine translation (PBSMT) and requiring large amounts of auxiliary data to achieve competitive results. In this paper, we re-assess the validity of these results, arguing that they are the result of lack of system adaptation to low-resource settings. We discuss some pitfalls to be aware of when training low-resource NMT systems, and recent techniques that have shown to be especially helpful in low-resource settings, resulting in a set of best practices for low-resource NMT. In our experiments on German--English with different amounts of IWSLT14 training data, we show that, without the use of any auxiliary monolingual or multilingual data, an optimized NMT system can outperform PBSMT with far less data than previously claimed. We also apply these techniques to a low-resource Korean-English dataset, surpassing previously reported results by 4 BLEU.

研究动机与目标

• 挑战当前普遍认为NMT在低资源设置下表现不如PBSMT的观点。
• 识别并验证在有限平行数据下提升NMT性能的最佳实践。
• 证明当经过适当优化时，NMT仅使用100,000对平行语句即可超越PBSMT。
• 表明在低资源翻译中，辅助单语或多语数据并非始终是实现竞争力性能的必要条件。

提出的方法

• 采用带有绑定嵌入、层归一化和残差连接的BiDeep RNN架构，以提升训练稳定性和表征学习能力。
• 应用标签平滑、dropout和词dropout，以减少低数据场景下的过拟合并提升泛化能力。
• 使用最小频率阈值进行子词分词，以避免过度分词并改善罕见子词的表征。
• 在学习率、dropout率、批量大小和验证频率等超参数上进行系统性调优，以优化性能。
• 通过消融研究隔离每项技术对翻译质量的影响。
• 在IWSLT14德语-英语和韩语-英语数据集上，使用不同数量的平行数据进行训练，以评估在各种数据规模下的性能表现。

实验结果

研究问题

• RQ1 当使用现代训练技术进行优化时，NMT是否能在低资源设置下超越PBSMT？
• RQ2 哪些特定的架构和训练修改能显著提升在有限平行数据下的NMT性能？
• RQ3 与标准配置相比，超参数调优在低资源条件下对NMT性能的影响有多大？
• RQ4 子词正则化和数据稀疏化在多大程度上能提升低资源NMT中的泛化能力？
• RQ5 在低资源NMT中，使用辅助单语或多语数据是否仍对实现竞争力性能至关重要？

主要发现

• 经过优化的NMT系统在仅使用100,000对平行语句的德语-英语翻译任务中，表现优于PBSMT，挑战了此前认为NMT需要显著更多数据的论断。
• 消融研究证实，标签平滑、词dropout和层归一化在低资源设置下均对性能提升有显著贡献。
• 结合最小频率阈值的子词正则化可提升模型鲁棒性，并降低对词汇表大小的敏感性，尤其在小样本场景下表现更优。
• 在韩语-英语数据集上，优化后的NMT系统在未使用任何辅助数据的情况下，相比先前报告的SOTA结果提升了4 BLEU。
• 本研究证明，当经过恰当调优时，NMT可实现极高的数据效率，从而减少对额外单语或多语数据的依赖。