[论文解读] Automatic Identification of Closely-related Indian Languages: Resources and Experiments

Ritesh Kumar, Bornini Lahiri+5 more|arXiv (Cornell University)|Mar 26, 2018

Authorship Attribution and Profiling参考文献 20被引用 24

一句话总结

本文提出了一套针对印度五种密切相关的印度-雅利安语——阿瓦迪语、博杰普里语、布拉吉语、印地语和马拉希语——的最先进语言识别系统，利用新编纂的可比语料库实现了96.48%的准确率。该研究还首次对这些语言进行了基于数据的词汇相似性分析，提供了基础的自然语言处理资源，并揭示了它们之间的语言亲缘关系。

ABSTRACT

In this paper, we discuss an attempt to develop an automatic language identification system for 5 closely-related Indo-Aryan languages of India, Awadhi, Bhojpuri, Braj, Hindi and Magahi. We have compiled a comparable corpora of varying length for these languages from various resources. We discuss the method of creation of these corpora in detail. Using these corpora, a language identification system was developed, which currently gives state of the art accuracy of 96.48\%. We also used these corpora to study the similarity between the 5 languages at the lexical level, which is the first data-based study of the extent of closeness of these languages.

研究动机与目标

• 为印度五种密切相关的印度-雅利安语（阿瓦迪语、博杰普里语、布拉吉语、印地语和马拉希语）开发一种自动语言识别系统。
• 从多样化公共来源收集并发布长度不一的可比多语言语料库，涵盖这五种语言。
• 对这五种语言进行首次基于数据的词汇层面相似性比较。
• 利用构建的语料库评估语言识别系统的性能。
• 提供公开可获取的语言学资源，以支持对资源匮乏的印度语言的自然语言处理研究。

提出的方法

• 作者从多样化在线来源收集并整理了这五种语言的可比单语语料库，确保各语言间文本对齐。
• 应用标准预处理技术，包括分词、归一化和过滤，以准备语料库用于下游自然语言处理任务。
• 采用监督式机器学习方法进行语言识别，使用n-gram特征，并在整理的语料库上训练分类器。
• 通过从语料库中提取的交叉验证和测试集对系统进行评估，准确率基于保留数据进行测量。
• 利用对齐语料库中的共享词重叠和共现统计量，量化语言间的词汇相似性。
• 通过在构建数据集上进行特征工程和模型调优，最终模型实现了最先进性能。

实验结果

研究问题

• RQ1 这五种密切相关的印度语言（阿瓦迪语、博杰普里语、布拉吉语、印地语和马拉希语）之间的词汇相似性程度如何？
• RQ2 当在新编纂的这些语言可比语料库上进行训练时，基于机器学习的语言识别系统效果如何？
• RQ3 一个单一模型能否在这些密切相关的语言上实现高准确率的泛化？
• RQ4 在计算环境中，区分这些语言的关键语言特征是什么？
• RQ5 该系统的性能与现有语言识别方法在类似低资源语言对上的表现相比如何？

主要发现

• 所提出的语言识别系统在所构建可比语料库的测试集上实现了96.48%的最先进准确率。
• 词汇相似性分析揭示了词汇的显著重叠，特别是印地语与马拉希语之间，以及博杰普里语与阿瓦迪语之间，表明存在较强的相互可理解性。
• 语料库编纂过程成功收集了涵盖所有五种语言的多样化、对齐的文本样本，形成了未来自然语言处理研究的宝贵资源。
• 该模型在较短文本片段上也表现出稳健性能，凸显其在实际应用中的实用性。
• 研究证实，使用n-gram特征和精心的数据整理，监督学习可在低资源、密切相关的语言环境下实现高准确率。
• 研究结果证实，这五种语言共享大量语言特征，支持在单一识别框架中将它们归为一类。