[论文解读] Bianet: A Parallel News Corpus in Turkish, Kurdish and English

Duygu Ataman|arXiv (Cornell University)|May 14, 2018

Natural Language Processing Techniques被引用 15

一句话总结

本文介绍了Bianet，这是一个新的开源并行新闻语料库，涵盖土耳其语、库尔德语（索拉尼，拉丁字母）和英语，数据源自Bianet在线新闻网站。该语料库通过增强双语和多语言模型，显著提升了低资源语言对（尤其是英语-土耳其语和英语-库尔德语）的神经机器翻译（NMT）性能，在使用SETIMES和Bianet数据的实验中，BLEU和chrF3指标均有显著提升。

ABSTRACT

We present a new open-source parallel corpus consisting of news articles collected from the Bianet magazine, an online newspaper that publishes Turkish news, often along with their translations in English and Kurdish. In this paper, we describe the collection process of the corpus and its statistical properties. We validate the benefit of using the Bianet corpus by evaluating bilingual and multilingual neural machine translation models in English-Turkish and English-Kurdish directions.

研究动机与目标

• 为土耳其语和库尔德语等低资源语言解决并行单语新闻语料稀缺的问题。
• 从单一新闻源（Bianet）构建一个多语言、句子对齐的并行语料库，其中包含土耳其语、英语和库尔德语的人工翻译文章。
• 评估Bianet语料库对双语和多语言设置中神经机器翻译质量的影响。
• 提供一个公开可用的资源，以支持低资源和多语言机器翻译研究。

提出的方法

• 使用Scrapy进行网络爬取，从Bianet（一家土耳其在线报纸）提取土耳其语新闻文章。
• 通过识别Bianet网站上的多语言文章链接，获取文档级别的翻译。
• 基于句子长度和词汇重叠的启发式匹配方法，实现并行文本的句子级对齐。
• 构建三个并行语言对：土耳其语-英语、英语-库尔德语和土耳其语-库尔德语。
• 在Bianet语料库及现有数据（如SETIMES）的基础上，训练双语和多语言神经机器翻译模型。
• 使用标准指标（BLEU和chrF3）在官方机器翻译基准数据集上评估翻译质量。

实验结果

研究问题

• RQ1 Bianet语料库在多大程度上提升了英语-土耳其语神经机器翻译的质量？
• RQ2 包含库尔德语并行数据是否能增强多语言NMT模型在低资源语言对上的表现？
• RQ3 Bianet语料库与现有并行语料库（如SETIMES）相比，对NMT性能的提升效果如何？
• RQ4 将Bianet与现有语料库结合使用，对多语言模型性能有何影响？
• RQ5 Bianet语料库能否有效支持库尔德语这一低资源语言的零样本或少样本翻译？

主要发现

• 将Bianet语料库添加到SETIMES基线后，英语-土耳其语翻译的BLEU得分提升2.27点，chrF3得分提升0.0204点。
• 在包含所有Bianet数据（包括土耳其语-库尔德语）的多语言模型在英语-土耳其语任务上达到13.92的BLEU得分和0.4360的chrF3得分，优于基线模型和联合双语模型。
• 在英语-库尔德语翻译中，多语言模型的BLEU得分从5.41（双语）提升至8.51，chrF3得分从0.2257提升至0.2406，显示出显著改进。
• 尽管土耳其语-库尔德语部分语料较小，但在多语言训练中仍带来4.10的BLEU得分和0.0149的chrF3得分提升，证明其在低资源环境中的价值。
• 所有相对于基线的改进均具有统计显著性（p < 0.05），证实了该语料库在提升翻译质量方面的有效性。
• Bianet语料库公开可用，可用于训练和微调土耳其语、库尔德语和英语的多语言NMT系统。