[论文解读] Aksharantar: Open Indic-language Transliteration datasets and models for the Next Billion Users

Yash Madhani, Sushane Parthan+6 more|arXiv (Cornell University)|May 6, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本文介绍了 Aksharantar，这是目前最大的开源印地语族语言音译数据集，包含 21 种语言和 12 种文字的 2600 万对音译数据。本文提出了一种多语言模型 IndicXlit，在 Dakshina 基准测试中准确率提升了 15%，并在一个新构建的 10.3 万条测试集上建立了强有力的基线，实现了对不同类型词汇音译性能的细粒度分析。

ABSTRACT

Transliteration is very important in the Indian language context due to the usage of multiple scripts and the widespread use of romanized inputs. However, few training and evaluation sets are publicly available. We introduce Aksharantar, the largest publicly available transliteration dataset for Indian languages created by mining from monolingual and parallel corpora, as well as collecting data from human annotators. The dataset contains 26 million transliteration pairs for 21 Indic languages from 3 language families using 12 scripts. Aksharantar is 21 times larger than existing datasets and is the first publicly available dataset for 7 languages and 1 language family. We also introduce the Aksharantar testset comprising 103k word pairs spanning 19 languages that enables a fine-grained analysis of transliteration models on native origin words, foreign words, frequent words, and rare words. Using the training set, we trained IndicXlit, a multilingual transliteration model that improves accuracy by 15% on the Dakshina test set, and establishes strong baselines on the Aksharantar testset introduced in this work. The models, mining scripts, transliteration guidelines, and datasets are available at https://github.com/AI4Bharat/IndicXlit under open-source licenses. We hope the availability of these large-scale, open resources will spur innovation for Indic language transliteration and downstream applications. We hope the availability of these large-scale, open resources will spur innovation for Indic language transliteration and downstream applications.

研究动机与目标

• 解决印度语言缺乏大规模、公开可用的音译数据集的问题。
• 创建一个全面的、开源的数据集，覆盖多种印度语言家族和文字。
• 开发一种多语言音译模型，使其在基准测试和新测试集上的表现优于现有基线。
• 实现对音译模型在不同词汇类型（如原生词、外来词、高频词和低频词）上的细粒度评估。
• 提供数据集、模型、训练脚本和使用指南的开放访问，以加速研究和应用开发。

提出的方法

• 通过挖掘单语语料和双语语料构建数据集，随后采用基于规则和神经网络的过滤方法提取有效的音译对。
• 通过人工标注者收集代表性不足的语言及语言对的高质量数据，确保语言多样性和准确性。
• 在完整的 Aksharantar 训练集上训练了一种多语言序列到序列模型 IndicXlit，采用所有语言共享的子词词汇表。
• 该模型采用基于 Transformer 的架构，并引入跨语言注意力机制，以利用印度语言之间的共享模式。
• 精心构建了一个新的测试集 Aksharantar testset，包含 103,000 对词对，以支持在词汇频率、词源和文字类型上的详细评估。
• 发布了完整的训练和推理流水线，附带完整文档，并以开源许可形式发布。

实验结果

研究问题

• RQ1 如何系统性地为低资源印度语言收集大规模、高质量的音译数据？
• RQ2 在多种印度语言上预训练的多语言模型，在不同语言家族和文字之间的泛化能力如何？
• RQ3 当采用细粒度分词方法评估时，音译模型在罕见词、外来词和原生词上的表现如何？
• RQ4 开放获取的数据集和模型是否能显著提升在现有基准（如 Dakshina）上的性能？
• RQ5 在统一的音译训练设置中包含代表性不足的语言和文字会产生何种影响？

主要发现

• Aksharantar 包含来自 3 个语言家族的 21 种印度语言和 12 种文字的 2600 万对音译数据，规模是现有数据集的 21 倍。
• 该数据集是首个为 7 种语言和 1 个语言家族公开可用的资源，显著扩展了对低资源语言的覆盖范围。
• 在 Aksharantar 上预训练的 IndicXlit 模型，在 Dakshina 测试集上相比之前最先进方法实现了 15% 的绝对准确率提升。
• Aksharantar 测试集支持详细分析，揭示了不同词类（如原生词、外来词、高频词和低频词）之间的性能差异。
• 在宽松许可下开放发布模型、数据集和训练脚本，有望加速印度语言 NLP 领域的创新。
• 本研究证明，对多样化印度语言进行多语言预训练，可实现鲁棒且可泛化的音译性能。