[论文解读] Towards Supervised and Unsupervised Neural Machine Translation Baselines for Nigerian Pidgin

Orevaoghene Ahia, Kelechi Ogueji|arXiv (Cornell University)|Mar 27, 2020

Natural Language Processing Techniques参考文献 5被引用 13

一句话总结

本论文使用基于Transformer的模型与词级别和字节对编码（BPE）分词策略，为英语-尼日利亚皮钦语翻译建立了监督式和非监督式神经机器翻译（NMT）基线。表现最佳的模型为采用BPE分词的监督式NMT系统，在英语到皮钦语翻译任务中取得了24.29的BLEU分数，显著优于非监督式和词级别模型，为未来低资源非洲语言的翻译研究奠定了基础基准。

ABSTRACT

Nigerian Pidgin is arguably the most widely spoken language in Nigeria. Variants of this language are also spoken across West and Central Africa, making it a very important language. This work aims to establish supervised and unsupervised neural machine translation (NMT) baselines between English and Nigerian Pidgin. We implement and compare NMT models with different tokenization methods, creating a solid foundation for future works.

研究动机与目标

• 为尼日利亚皮钦语（一种在西非具有高度社会语言学重要性的低资源语言）建立首个监督式与非监督式神经机器翻译基线。
• 评估不同分词策略（词级别与BPE子词）对英语-皮钦语翻译中NMT性能的影响。
• 通过将英语互联网内容通过机器翻译转化为尼日利亚皮钦语，弥合数字鸿沟，使尼日利亚使用者能够获取相关内容。
• 通过公开代码、数据与训练好的模型，为未来在低资源非洲语言自然语言处理研究中提供基础。

提出的方法

• 所有模型均采用Transformer架构，包含4–6层编码器与解码器，10个注意力头，词嵌入维度为300（词级别）或256（BPE）。
• 采用BPE子词分词策略，学习4000个子词，以改善OOV（词汇表外）词的处理能力，尤其适用于形态丰富或罕见的皮钦语词汇。
• 使用JoeyNMT工具包在JW300平行语料库上训练监督式模型，训练集包含20214对句子，验证集包含1000对句子。
• 使用Ogueji & Ahia（2019）框架训练非监督式模型，利用单语数据与对抗性训练，无需平行语料。
• 在由Masakhane小组预处理的2101对句子的保留测试集上评估模型性能，以BLEU分数为主要评价指标。
• 根据测试集BLEU分数最高者选择最佳模型，并由母语为L1的使用者进行定性分析，以评估语义保真度。

实验结果

研究问题

• RQ1 监督式与非监督式NMT模型在英语-尼日利亚皮钦语翻译任务中的性能表现如何比较？
• RQ2 词级别与BPE子词分词策略对尼日利亚皮钦语等低资源非洲语言NMT性能有何影响？
• RQ3 非监督式NMT模型是否能在无平行语料的情况下生成语义准确的翻译？其表现与监督式基线相比如何？
• RQ4 为何在皮钦语到英语翻译中，词级别分词优于BPE，尽管BPE在低资源设置中通常表现更优？

主要发现

• 采用BPE分词的监督式NMT模型在英语到皮钦语翻译中取得了最高的BLEU分数24.29，显著优于非监督式模型（5.18）与词级别监督式模型（17.73）。
• 在皮钦语到英语翻译中，词级别监督式模型取得了24.67的BLEU分数，优于非监督式模型（7.93）与BPE监督式模型（13.00）。
• 在皮钦语到英语翻译中，词级别分词优于BPE，表明子词分割可能破坏尼日利亚皮钦语的形态句法结构。
• 尽管非监督式模型BLEU分数较低，但母语者评估认为其翻译语义准确，表明即使表面形式存在差异，仍能有效保留语义。
• 本研究为未来尼日利亚皮钦语的NMT研究建立了强有力的基线，相关代码、数据与模型已公开发布，以支持可复现性与进一步拓展。
• 定性分析确认，非监督式模型即使与参考翻译不完全匹配，也能生成流畅且有意义的翻译。