[论文解读] L3Cube-MahaNLP: Marathi Natural Language Processing Datasets, Models, and Library

Raviraj Joshi|arXiv (Cornell University)|May 29, 2022

Natural Language Processing Techniques被引用 9

一句话总结

L3Cube-MahaNLP 首次推出了全面的马拉地语 NLP 资源套件，包括单语数据集（MahaCorpus）、任务特定数据集（MahaSent、MahaNER、MahaHate），以及相应的微调 BERT、RoBERTa、ALBERT 和 GPT 模型。该工作在马拉地语情感分析、命名实体识别和仇恨言论检测任务上建立了最先进性能，相关模型已通过 Hugging Face 和 GitHub 公开发布，以支持低资源马拉地语的生产级 NLP 应用。

ABSTRACT

Despite being the third most popular language in India, the Marathi language lacks useful NLP resources. Moreover, popular NLP libraries do not have support for the Marathi language. With L3Cube-MahaNLP, we aim to build resources and a library for Marathi natural language processing. We present datasets and transformer models for supervised tasks like sentiment analysis, named entity recognition, and hate speech detection. We have also published a monolingual Marathi corpus for unsupervised language modeling tasks. Overall we present MahaCorpus, MahaSent, MahaNER, and MahaHate datasets and their corresponding MahaBERT models fine-tuned on these datasets. We aim to move ahead of benchmark datasets and prepare useful resources for Marathi. The resources are available at https://github.com/l3cube-pune/MarathiNLP.

研究动机与目标

• 解决马拉地语（印度第三大使用语言）在 NLP 资源方面的关键缺失问题，尽管其使用广泛，但该语言仍属资源匮乏。
• 开发可投入生产的高质量数据集和模型，以超越缺乏实际应用价值的小型基准数据集。
• 创建一个专用的开源库与生态系统，以支持马拉地语 NLP 的学术研究与工业应用。
• 建立单语预训练模型（MahaBERT、MahaRoBERTa、MahaAlBERT）和生成式模型（MahaGPT），使其在马拉地语任务上的表现优于多语言替代方案。
• 通过在 Hugging Face 上发布模型并未来支持 pip 包集成，实现端到端 NLP 流水线的构建。

提出的方法

• 构建了 MahaCorpus，一个包含 289M 个词元的单语马拉地语语料库（含外部来源总计 752M 个词元），用于无监督预训练。
• 在 MahaCorpus 上微调多语言 BERT 变体（base-BERT、RoBERTa、ALBERT），通过掩码语言建模（MLM）方法，创建了 MahaBERT、MahaRoBERTa 和 MahaAlBERT 模型。
• 在完整的马拉地语语料库上训练了 MahaGPT，一种类似 GPT-2 的因果语言模型，用于自动补全和文本生成任务。
• 基于马拉地语语料库训练了 MahaFT，一种 fastText 词嵌入，以提升对形态丰富的语言的 OOV（词汇表外）词处理能力。
• 整理并人工标注了 MahaSent（12,114 条推文）、MahaNER（25,000 个句子）和 MahaHate（25,000 条推文）数据集，分别用于情感分析、命名实体识别和仇恨言论分类。
• 在每个数据集上微调 BERT 和 RoBERTa 模型，并通过 Hugging Face Hub 发布，支持直接推理与微调。

实验结果

研究问题

• RQ1 与多语言预训练相比，大规模单语马拉地语语料库是否能显著提升下游 NLP 任务的性能？
• RQ2 专用的任务特定数据集与微调模型是否能在真实世界的马拉地语 NLP 应用中超越通用基准？
• RQ3 与 multilingual-BERT 或 XLM-R 等多语言模型相比，单语 BERT 变体（MahaBERT、MahaRoBERTa、MahaAlBERT）在马拉地语 NLP 任务中的表现如何？
• RQ4 MahaGPT 和 MahaFT 在低资源马拉地语 NLP 中，对序列建模和词表示的增强作用有多大？
• RQ5 标准化、可投入生产的数据集与模型的发布，是否能加速马拉地语 NLP 的研究与部署？

主要发现

• MahaBERT 模型在马拉地语下游任务上的表现优于多语言 BERT 和 XLM-R，证明了单语预训练的优势。
• MahaCorpus（289M 个词元，总计 752M 个词元）为马拉地语的无监督与监督预训练提供了坚实基础。
• MahaSent、MahaNER 和 MahaHate 是马拉地语情感分析、命名实体识别和仇恨言论检测领域首个大规模、高质量标准数据集。
• 针对 MahaSent、MahaNER 和 MahaHate 微调的 BERT 模型在各自任务上达到了最先进性能，且可通过 Hugging Face 公开访问。
• MahaGPT 实现了马拉地语的下一个词预测与文本生成，是该语言首个此类生成式模型。
• MahaFT 词嵌入在性能上优于现有马拉地语词向量，尤其在形态复杂的词汇上表现更优。