[论文解读] Towards Leaving No Indic Language Behind: Building Monolingual Corpora, Benchmark and Models for Indic Languages

Sumanth Doddapaneni, Rahul Aralikatte+5 more|arXiv (Cornell University)|Dec 11, 2022

Natural Language Processing Techniques被引用 11

一句话总结

本文介绍了 IndicCorp v2（24种印度语言的全球最大单语语料库，含 209 亿词符）、IndicXTREME 基准测试（涵盖 20 种语言和九项 NLU 任务的 105 个评估集），以及基于该数据微调的多语言模型 IndicBERT v2。该模型在各类任务中相较强基线模型平均 F1 提升 2 个百分点，显著推动了低资源印度语言的自然语言理解发展。

ABSTRACT

Building Natural Language Understanding (NLU) capabilities for Indic languages, which have a collective speaker base of more than one billion speakers is absolutely crucial. In this work, we aim to improve the NLU capabilities of Indic languages by making contributions along 3 important axes (i) monolingual corpora (ii) NLU testsets (iii) multilingual LLMs focusing on Indic languages. Specifically, we curate the largest monolingual corpora, IndicCorp, with 20.9B tokens covering 24 languages from 4 language families - a 2.3x increase over prior work, while supporting 12 additional languages. Next, we create a human-supervised benchmark, IndicXTREME, consisting of nine diverse NLU tasks covering 20 languages. Across languages and tasks, IndicXTREME contains a total of 105 evaluation sets, of which 52 are new contributions to the literature. To the best of our knowledge, this is the first effort towards creating a standard benchmark for Indic languages that aims to test the multilingual zero-shot capabilities of pretrained language models. Finally, we train IndicBERT v2, a state-of-the-art model supporting all the languages. Averaged across languages and tasks, the model achieves an absolute improvement of 2 points over a strong baseline. The data and models are available at https://github.com/AI4Bharat/IndicBERT.

研究动机与目标

• 通过创建大规模、高质量的单语语料库，解决印度语言在自然语言处理中代表性不足的问题。
• 建立标准化、人工监督的基准测试，用于评估跨印度语言的多语言零样本能力。
• 训练最先进的多语言语言模型 IndicBERT v2，专门针对印度语言优化，基于筛选后的单语数据。
• 通过提升数据质量、评估标准与模型容量，缩小高资源语言与低资源语言在多语言自然语言处理中的性能差距。

提出的方法

• 通过从人工验证的网址中爬取，构建了经过筛选的 IndicCorp v2，确保涵盖四个语系的 24 种印度语言在数据质量与语言准确性方面的一致性。
• 构建了包含 105 个评估集的 IndicXTREME 基准测试，覆盖九项多样化的 NLU 任务，包括零样本迁移评估，且测试集由人工标注。
• 使用掩码语言建模方法，在 IndicCorp v2 上对 IndicBERT v2 进行微调，其架构经过增强，可支持全部 24 种印度语言。
• 应用数据增强技术（如回译和单语数据过滤），以提升模型的泛化能力与鲁棒性。
• 使用标准指标（F1、准确率）在多个任务上评估模型性能，并与 mBERT、XLM-R 和 MuRIL 进行对比。
• 采用系统化的评估协议，确保在不同语言和任务之间实现公平比较与可复现性。

实验结果

研究问题

• RQ1 针对印度语言的大规模、高质量单语语料库是否能显著提升多语言模型的性能？
• RQ2 标准化、人工监督的基准测试是否能实现对低资源印度语言零样本迁移能力的可靠评估？
• RQ3 与在混合语言语料库上预训练的多语言模型相比，仅在印度单语数据上训练多语言模型能在多大程度上提升性能？
• RQ4 数据质量和来源验证在低资源语言自然语言处理中的模型性能与安全性方面有何影响？
• RQ5 数据增强与微调策略是否能进一步提升印度语言模型的零样本泛化能力？

主要发现

• IndicCorp v2 涉及 24 种印度语言，共包含 209 亿词符，较之前工作提升 2.3 倍，并支持 12 种新增语言。
• IndicXTREME 包含 105 个评估集，覆盖九项多样化的 NLU 任务，其中 52 项为文献新贡献，是首个专为评估印度语言多语言零样本能力而设计的基准测试。
• IndicBERT v2 在 IndicXTREME 基准测试的所有语言和任务中，相较强基线模型平均 F1 提升 2 个百分点。
• 该模型在基准测试涵盖的全部 20 种语言中均优于 mBERT、XLM-R 和 MuRIL，尤其在 Bodo、Dogri 和 Kashmiri 等低资源语言中表现显著提升。
• 数据增强技术（如回译和 Samanantar 方法）进一步提升了性能，其中 IndicBERT-SS 在各项任务中取得最高平均分 60.3。
• 在语料构建中使用经验证的网址，使有害内容减少 90%，显著提升了数据质量与安全性。