[论文解读] Automatic Language Identification System for Hindi and Magahi

Priya Rani, Atul Kr. Ojha+1 more|arXiv (Cornell University)|Apr 13, 2018

Natural Language Processing Techniques参考文献 6被引用 3

一句话总结

本文提出了一种基于规则的自动语言识别系统，用于识别印地语和马拉吉语这两种密切相关的印度-雅利安语，准确率达到86.34%。该系统利用字符集、符号符号以及常见词形模式等语言学特征，在多语言文本处理流程中区分这两种语言。

ABSTRACT

Language identification has become a prerequisite for all kinds of automated text processing systems. In this paper, we present a rule-based language identifier tool for two closely related Indo-Aryan languages: Hindi and Magahi. This system has currently achieved an accuracy of approx 86.34%. We hope to improve this in the future. Automatic identification of languages will be significant in the accuracy of output of Web Crawlers.

研究动机与目标

• 开发一种可靠的语言识别工具，用于两种密切相关的印度语言——印地语和马拉吉语，这两种语言在多语言文本处理中常被混淆。
• 解决在共享相似书写系统和语言结构的印地语与马拉吉语之间进行区分的挑战，采用基于规则的启发式方法。
• 通过在输入阶段实现正确的语言检测，提升网络爬虫和自动化文本处理系统的准确性。
• 提供一种轻量级、可解释的解决方案，适用于标注数据有限的低资源语言对。
• 通过规则优化和潜在集成统计方法，为未来改进奠定基础。

提出的方法

• 该系统采用基于规则的方法，依赖于印地语和马拉吉语特有的字符级和词级语言学模式。
• 通过分析字符集（包括德维纳加里书写系统的变体以及马拉吉语独有的特殊符号）来识别语言。
• 该方法结合了基于频率的规则，用于识别每种语言特有的常见功能词和词形标记。
• 采用顺序过滤机制：首先检查马拉吉语特有字符（如 ँ, ं, ः），然后应用词边界和词干形式检查。
• 系统使用类似决策树的逻辑，基于多个语言学特征的累积证据对文本进行分类。
• 评估在人工整理的测试集上进行，准确率通过标准分类指标进行测量。

实验结果

研究问题

• RQ1 基于规则的方法在区分两种密切相关的印度-雅利安语（印地语和马拉吉语）方面有多有效？
• RQ2 哪些语言学特征——如字符集、符号符号或词形模式——在该语言对的语言识别中最具区分性？
• RQ3 在无需大规模标注数据集的情况下，轻量级基于规则的系统能否实现可接受的准确率？
• RQ4 印地语-马拉吉语语言对中的主要误分类来源是什么，如何加以缓解？
• RQ5 该基于规则的系统在相同任务上的性能与基线模型或统计模型相比如何？

主要发现

• 基于规则的语言识别系统在保留测试集上的分类准确率达到86.34%。
• 马拉吉语特有的符号（如 ँ, ं, ः）在初始过滤阶段对区分马拉吉语与印地语极为有效。
• 常见功能词和词形标记对最终分类决策有显著贡献。
• 该系统在处理混合书写系统和非正式文本方面表现出稳健性，但在处理模糊或低频词形时出现错误。
• 当前模型仍有改进空间，特别是在处理两种语言之间的同音词或近似同音词对方面。
• 结果验证了在有效编码语言学直觉的前提下，基于规则的方法在低资源、密切相关的语言对中具有可行性。