[论文解读] Bitext Mining Using Distilled Sentence Representations for Low-Resource Languages

Kevin S. Heffernan, Onur Çelebi+1 more|arXiv (Cornell University)|May 25, 2022

Natural Language Processing Techniques被引用 8

一句话总结

该论文提出了一种教师-学生蒸馏框架，用于训练针对低资源语言（特别是50种非洲语言）的多语言句子编码器，结合了监督学习与自监督学习。该方法显著提升了双语语料挖掘和神经机器翻译（NMT）性能，在索马里语上实现了高达21.3的BLEU分数，通过利用490万条挖掘出的双语语料，优于原始的LASER模型和现有的多语言编码器。

ABSTRACT

Scaling multilingual representation learning beyond the hundred most frequent languages is challenging, in particular to cover the long tail of low-resource languages. A promising approach has been to train one-for-all multilingual models capable of cross-lingual transfer, but these models often suffer from insufficient capacity and interference between unrelated languages. Instead, we move away from this approach and focus on training multiple language (family) specific representations, but most prominently enable all languages to still be encoded in the same representational space. To achieve this, we focus on teacher-student training, allowing all encoders to be mutually compatible for bitext mining, and enabling fast learning of new languages. We introduce a new teacher-student training scheme which combines supervised and self-supervised training, allowing encoders to take advantage of monolingual training data, which is valuable in the low-resource setting. Our approach significantly outperforms the original LASER encoder. We study very low-resource languages and handle 50 African languages, many of which are not covered by any other model. For these languages, we train sentence encoders, mine bitexts, and validate the bitexts by training NMT systems.

研究动机与目标

• 为解决将多语言自然语言处理扩展至低资源语言（尤其是平行语料和单语语料有限的非洲语言）的挑战。
• 通过训练语言家族特定的句子编码器，使其在共享嵌入空间中保持相互兼容，从而提升低资源语言的双语语料挖掘性能。
• 通过教师-学生蒸馏方案克服“一劳永逸”式多语言模型的局限，实现在极小数据量下对新语言的高效适应。
• 通过端到端的神经机器翻译训练验证挖掘语料的质量，展示翻译性能的实际提升。

提出的方法

• 使用共享的多语言教师模型训练语言家族特定的学生编码器，使不同语言在统一嵌入空间中保持相互兼容。
• 结合对比学习与掩码语言建模（MLM），联合优化使用双语和单语数据的句子表示。
• 采用双编码器结构，其中教师为大型多语言模型，学生为经过蒸馏微调的小型、语言特定编码器。
• 利用学生编码器进行基于边距的双语语料挖掘，基于215亿条英语句子进行跨语言相似度搜索。
• 使用FLORES基准作为相似度搜索误差率的代理评估指标，替代代表性不足的Tatoeba数据集。
• 在挖掘出的双语语料与公开双语语料结合的基础上训练NMT系统，通过BLEU分数评估挖掘数据的质量。

实验结果

研究问题

• RQ1 与“一劳永逸”式多语言模型相比，教师-学生蒸馏框架是否能提升极低资源语言的双语语料挖掘性能？
• RQ2 在低资源环境下，联合监督学习与自监督学习（包括MLM）如何提升句子表示的质量？
• RQ3 当与有限的公开双语语料结合时，从低资源语言挖掘出的双语语料在下游NMT任务中的性能提升程度如何？
• RQ4 与现有的多语言句子编码器（如LASER和LaBSE）相比，所提方法在低资源非洲语言上的表现如何？
• RQ5 单语语料的质量与数量对基于挖掘双语语料训练的最终NMT系统性能有何影响？

主要发现

• 通过结合17.9万条公开双语语料与490万条挖掘双语语料，该方法在索马里语上实现了21.3的BLEU分数，较基线模型提升16.2 BLEU。
• 在包括阿坎语、巴米莱克语和富拉尼语在内的13种非洲语言中，BLEU分数仍低于5%，主要因单语语料不足，影响挖掘效果。
• 通过联合余弦损失与MLM损失训练，沃洛夫语编码器的xsim误差率降低了71.3%（从21.05%降至6.03%）。
• 该模型在12种语言上优于原始LASER编码器，并在多语言相似度搜索的FLORES基准上与LaBSE持平或超越。
• 该方法使44种非洲语言的NMT系统得以训练，其中24对语言的编码器与双语语料已公开发布以供评估。