[论文解读] Lesan -- Machine Translation for Low Resource Languages

Asmelash Teka Hadgu, Abel Aregawi+1 more|arXiv (Cornell University)|Dec 15, 2021

Natural Language Processing Techniques被引用 5

一句话总结

Lesan 通过利用离线和在线多语言资源、为埃塞蒂佩克文字（Ethiopic script）定制的 OCR 系统以及自动句子对齐技术，构建了针对提格雷尼亚语和阿姆哈拉语等代表性不足语言的低资源机器翻译系统。该系统基于 Transformer 的序列到序列模型并结合回译（back-translation）技术，在六种语言对的真人评估中表现优于谷歌翻译、微软翻译和 Yandex 翻译，实现了当前最优性能，并已提供超过一千万次翻译服务。

ABSTRACT

Millions of people around the world can not access content on the Web because most of the content is not readily available in their language. Machine translation (MT) systems have the potential to change this for many languages. Current MT systems provide very accurate results for high resource language pairs, e.g., German and English. However, for many low resource languages, MT is still under active research. The key challenge is lack of datasets to build these systems. We present Lesan, an MT system for low resource languages. Our pipeline solves the key bottleneck to low resource MT by leveraging online and offline sources, a custom OCR system for Ethiopic and an automatic alignment module. The final step in the pipeline is a sequence to sequence model that takes parallel corpus as input and gives us a translation model. Lesan's translation model is based on the Transformer architecture. After constructing a base model, back translation, is used to leverage monolingual corpora. Currently Lesan supports translation to and from Tigrinya, Amharic and English. We perform extensive human evaluation and show that Lesan outperforms state-of-the-art systems such as Google Translate and Microsoft Translator across all six pairs. Lesan is freely available and has served more than 10 million translations so far. At the moment, there are only 217 Tigrinya and 15,009 Amharic Wikipedia articles. We believe that Lesan will contribute towards democratizing access to the Web through MT for millions of people.

研究动机与目标

• 解决提格雷尼亚语和阿姆哈拉语等低资源语言缺乏平行双语语料的问题。
• 开发一个可扩展的机器翻译流水线，利用多样化的离线和在线多语言资源。
• 通过为埃塞蒂佩克文字定制 OCR 系统和自动化句子对齐，提升低资源语言对的翻译质量。
• 在代表性不足的语言对中，通过真人评估超越现有商业机器翻译系统。
• 通过支持向低资源语言翻译，实现网络内容的民主化访问。

提出的方法

• 该流水线从离线档案（如翻译过的书籍、杂志）和在线来源（如多语言新闻网站、宗教与法律文本）收集数据。
• 定制的 OCR 系统处理埃塞蒂佩克文字的扫描文档，随后进行后期编辑以纠正字符和单词错误。
• 从网络来源提取的文本经过解析，去除 HTML 标签并保留作者、日期等元数据。
• 一系列 NLP 模块（包括去重、语言检测和句子切分）对原始文本进行清洗和结构化处理。
• 自动对齐系统利用两个反向翻译模型的交叉熵得分，识别有效的平行句子对。
• 基于对齐后的平行语料，使用 Transformer 构建的序列到序列模型进行训练，并通过回译技术进一步利用单语数据提升性能。

实验结果

研究问题

• RQ1 在仅使用有限平行数据的情况下，机器翻译系统能否在提格雷尼亚语–英语和阿姆哈拉语–英语等低资源语言对上实现高性能？
• RQ2 为埃塞蒂佩克文字定制的 OCR 系统在从扫描文档中恢复可用文本方面的有效性如何？
• RQ3 从多样化、嘈杂的多语言来源中进行自动句子对齐，能在多大程度上生成高质量的平行语料？
• RQ4 当缺乏平行双语语料时，回译能否显著提升翻译质量？
• RQ5 在多种语言方向的人工评估中，Lesan 与谷歌翻译和微软翻译等商业系统相比表现如何？

主要发现

• 在所有六种语言方向（阿姆哈拉语–英语、提格雷尼亚语–英语及其反向对）的人工评估中，Lesan 均优于谷歌翻译、微软翻译和 Yandex 翻译。
• 在阿姆哈拉语到英语的翻译中，Lesan 在故事层面的平均人工评分达到 3.25（±0.38），超过谷歌翻译（2.88 ± 0.33）和微软翻译（2.54 ± 0.44）。
• 在英语到提格雷尼亚语的翻译中，Lesan 在句子层面的得分为 2.78（±0.31），显著高于微软的 2.01（±0.63）。
• 在英语到阿姆哈拉语的翻译中，Lesan 在故事层面的平均得分为 3.17（±0.42），优于谷歌翻译（2.88 ± 0.33）和微软翻译（2.54 ± 0.44）。
• 该系统已提供超过一千万次翻译，证明了其可扩展性和实际部署的可行性。
• 评估数据集已向公众发布，以支持低资源机器翻译评估的进一步研究。