[论文解读] MMCR4NLP: Multilingual Multiway Corpora Repository for Natural Language Processing

Raj Dabre, Sadao Kurohashi|arXiv (Cornell University)|Oct 3, 2017

Natural Language Processing Techniques参考文献 11被引用 8

一句话总结

该论文提出了MMCR4NLP，一个统一的、系统化组织的多语言多向语料库（MMC）存储库，涵盖59种语言的5个领域。通过以英语为枢纽，从现有的双语资源（如Europarl、TED演讲、圣经、ILCI和联合国文件）中提取多语种语料库，并提供标准化的训练/验证/测试划分，作者实现了公平、可复现的多语言NLP研究，提升了迁移学习和领域自适应能力。

ABSTRACT

Multilinguality is gradually becoming ubiquitous in the sense that more and more researchers have successfully shown that using additional languages help improve the results in many Natural Language Processing tasks. Multilingual Multiway Corpora (MMC) contain the same sentence in multiple languages. Such corpora have been primarily used for Multi-Source and Pivot Language Machine Translation but are also useful for developing multilingual sequence taggers by transfer learning. While these corpora are available, they are not organized for multilingual experiments and researchers need to write boilerplate code every time they want to use said corpora. Moreover, because there is no official MMC collection it becomes difficult to compare against existing approaches. As such we present our work on creating a unified and systematically organized repository of MMC spanning a large number of languages. We also provide training, development and test splits for corpora where official splits are unavailable. We hope that this will help speed up the pace of multilingual NLP research and ensure that NLP researchers obtain results that are more trustable since they can be compared easily. We indicate corpora sources, extraction procedures if any and relevant statistics. We also make our collection public for research purposes.

研究动机与目标

• 解决多语言多向语料库（MMC）在NLP研究中缺乏集中化、系统化组织的问题。
• 通过消除从不同双语源中提取和结构化MMC所需的重复性工程工作，减少样板代码。
• 通过提供标准化的训练、开发和测试划分，实现多语言NLP方法的公平、可比评估，尤其在官方划分缺失的情况下。
• 通过按语言家族分组语料库，支持迁移学习和语言相关性研究。
• 通过公开提供完整语料库的清晰来源和提取流程，提升MMC的可访问性和可重用性。

提出的方法

• 通过以英语为枢纽语言，从Europarl、TED演讲、圣经、ILCI和联合国文件等来源的双语平行语料库中对齐句子，提取多语种语料库。
• 使用哈希表高效存储和交叉匹配不同语言对之间的句子翻译，以识别共有的多语种句子。
• 为缺乏官方划分的语料库创建标准化的训练/验证/测试划分（验证集和测试集各2000条，其余用于训练），尤其针对IWSLT、圣经、TED和Europarl语料库。
• 按语言家族（如日耳曼语、罗曼语、斯拉夫语、乌拉尔语、波罗的语）组织语料库，以支持语言相关性与迁移学习研究。
• 提供开源脚本用于语料库的提取与组织，降低研究人员的实现开销。
• 扩展语料库以涵盖多样化领域——旅游、医疗、外交、会议记录和宗教文本，支持领域自适应研究。

实验结果

研究问题

• RQ1 如何从现有的双语平行语料库中系统化地提取和组织多语言多向语料库，以支持多语言NLP研究？
• RQ2 标准化的训练/验证/测试划分在多语言NLP实验的可复现性和可比性方面能提升到何种程度？
• RQ3 通过按语言家族分组语料库所体现的语言相关性，如何影响多语言NLP任务中的迁移学习性能？
• RQ4 一个统一的、公开可用的多语言语料库存储库，能否减少研究人员为多语言实验准备数据所需的时间和精力？
• RQ5 从现有双语源构建大规模N-lingual语料库在实际限制和可扩展性方面存在哪些问题？

主要发现

• MMCR4NLP存储库涵盖59种语言，分布在5个领域，其中最大语料库为21种语言的Europarl语料库，共189,310行。
• 作者成功提取了10种语言的Europarl语料库（107.1万行）和5种日耳曼语言语料库（140.8万行），证明了在不同语言群体中的可扩展性。
• 对于缺乏官方划分的语料库，作者创建了标准化的2000/2000/剩余行的划分，促进了各研究间的公平评估。
• ILCI语料库已扩展至包含12种语言，尽管仍为非公开；研究团队提取了6种语言的版本供研究使用。
• 圣经语料库被用于创建具有统一划分的多语言版本，支持低资源NLP研究。
• Europarl语料库被按语言家族分组为特定集合（如6种斯拉夫语、5种罗曼语），支持语言相关性的对比研究。