[论文解读] One Country, 700+ Languages: NLP Challenges for Underrepresented Languages and Dialects in Indonesia

Alham Fikri Aji, Genta Indra Winata+10 more|arXiv (Cornell University)|Mar 24, 2022

Topic Modeling被引用 13

一句话总结

本文研究了印度尼西亚700多种非主流语言和方言在自然语言处理（NLP）中的挑战，突出显示了数据稀缺、语言多样性以及缺乏标准化的问题。文章提出了一套通过精选数据集、多语言建模和社区驱动资源创建来开发包容性NLP系统的框架，主要贡献包括对现有资源的全面调查以及针对低资源语言NLP的可操作建议。

ABSTRACT

NLP research is impeded by a lack of resources and awareness of the challenges presented by underrepresented languages and dialects. Focusing on the languages spoken in Indonesia, the second most linguistically diverse and the fourth most populous nation of the world, we provide an overview of the current state of NLP research for Indonesia's 700+ languages. We highlight challenges in Indonesian NLP and how these affect the performance of current NLP systems. Finally, we provide general recommendations to help develop NLP technology not only for languages of Indonesia but also other underrepresented languages.

研究动机与目标

• 为解决印度尼西亚（世界语言多样性第二高的国家）在非主流语言上的NLP资源匮乏和研究关注度不足的问题。
• 识别本地语言NLP中的系统性挑战，包括数据稀缺、方言变异以及缺乏标准化。
• 评估印度尼西亚语及本地语言当前的NLP数据集和工具状况，揭示资源可用性中的显著不平衡。
• 为开发支持语言多样性和语言保护的包容性NLP系统提供可操作的建议。
• 倡导以社区为中心、具备文化意识的NLP开发，以支持多语制并减少数字不平等。

提出的方法

• 对ACL Anthology（2000–2020年）中NLP研究出版物进行了全面调查，以分析印度尼西亚NLP中语言代表性的趋势。
• 利用Ethnologue数据绘制印度尼西亚语言的分布图，按母语人数和活力状态（濒危/灭绝）进行分类。
• 整理并分析了公开可用的印度尼西亚语及本地语言的NLP数据集和工具，包括情感分析、命名实体识别和依存句法分析等任务。
• 根据规模、领域和语言覆盖范围评估现有数据集，识别出关键缺口——特别是针对母语者少于10万的低资源语言。
• 提出多管齐下的NLP发展方法：社区参与、多语言迁移学习和标准化数据整理。
• 建议使用多语言模型（如mBERT、XLM-R）在精选的低资源数据集上进行微调，以提升非主流语言的性能。

实验结果

研究问题

• RQ1 尽管印度尼西亚语言多样性极高，为何NLP研究仍过度集中于印尼语和少数几种主要本地语言？
• RQ2 阻碍印度尼西亚非主流语言NLP性能的关键语言和数据相关挑战是什么？
• RQ3 方言变异和缺乏标准化如何影响现有NLP系统的性能？
• RQ4 印度尼西亚本地语言当前公开可用的NLP数据集和工具处于何种状态？
• RQ5 在多语言、低资源环境下，有哪些策略可提升非主流语言的NLP可及性和性能？

主要发现

• 在过去的20年里，700多种印度尼西亚语言中仅有15种在ACL Anthology中发表了超过100篇研究论文，表明其在NLP研究中存在严重代表性不足。
• 像爪哇语（8400万使用者）和巽他语（3400万使用者）这样的语言，在NLP文献中的代表性远低于其使用者数量。
• 在700多种语言中，有440种被归类为濒危语言，12种已灭绝，其中许多缺乏正式记录或标准化拼写系统。
• 目前为本地语言提供的最大公开数据集（爪哇语）仅包含125个句子，而大多数本地语言数据集少于1000个句子。
• 在14个本地语言NLP数据集中，仅有12个处于100至1000个句子的范围内，且没有任何一个本地语言的数据集超过10,000个句子。
• 现有NLP工具如Sastrawi、Pujangga和MALINDO Morph仅支持印尼语，除基础的词干提取和分词外，尚无广泛采用的本地语言处理工具。