[论文解读] Developing a Fine-Grained Corpus for a Less-resourced Language: the case of Kurdish
本文介绍了KTC，这是首个针对索拉尼库尔德语的领域特定语料库，包含来自伊拉克库尔德斯坦地区31本K-12教科书。该语料库经过规范化处理，并按12个教育主题分类，包含693,800个词符和110,297个词类，以CC BY-NC-SA 4.0许可证公开发布，旨在支持低资源语言环境下的自然语言处理任务，如语言建模和语法错误纠正。
Kurdish is a less-resourced language consisting of different dialects written in various scripts. Approximately 30 million people in different countries speak the language. The lack of corpora is one of the main obstacles in Kurdish language processing. In this paper, we present KTC-the Kurdish Textbooks Corpus, which is composed of 31 K-12 textbooks in Sorani dialect. The corpus is normalized and categorized into 12 educational subjects containing 693,800 tokens (110,297 types). Our resource is publicly available for non-commercial use under the CC BY-NC-SA 4.0 license.
研究动机与目标
- 为解决索拉尼库尔德语这一具有多种方言和书写系统、资源匮乏的语言缺乏领域特定及标注语料库的问题。
- 从官方K-12教科书构建一个高质量、经过规范化处理且按主题分类的语料库，以支持自然语言处理的发展。
- 为语言建模、拼写检查和语法错误纠正等任务提供可靠资源，尤其针对科学和教育写作领域。
- 克服由于非Unicode编码和拼写不一致导致的库尔德语文本数字化与规范化过程中的挑战。
- 为其他库尔德语方言（尤其是库尔曼吉语）的语料库建设奠定基础。
提出的方法
- 从伊拉克库尔德斯坦地区教育部获取31本K-12教科书，文件格式为Microsoft Word和Adobe InDesign。
- 将非Unicode文本转换为Unicode，并通过官方地区拼写标准进行人工规范化，以纠正拼写不一致问题。
- 保留标点符号和特殊字符，以确保下游自然语言处理任务的文本完整性。
- 按学科和教育阶段对每本教科书进行分类，形成12个不同的教育领域。
- 采用半自动文本处理流水线，由于拼写和编码挑战，需大量人工监督。
- 通过GitHub以CC BY-NC-SA 4.0许可证发布语料库，供非商业研究使用。
实验结果
研究问题
- RQ1如何为像索拉尼这样的低资源库尔德语方言构建一个高质量的领域特定语料库？
- RQ2在使用非标准编码和拼写规范对库尔德语教科书进行数字化与规范化过程中，会遇到哪些挑战？
- RQ3KTC语料库在语言建模和语法错误纠正等自然语言处理任务中的支持程度如何？
- RQ4经过精心筛选并经专家编辑的教科书语料库能否作为训练和评估库尔德语自然语言处理系统的可靠资源？
- RQ5该语料库在不同教育学科之间的语言和结构多样性如何？
主要发现
- KTC语料库包含来自12个教育主题的31本教科书，共693,800个词符和110,297个唯一词类。
- 语料库涵盖K-12各年级，包含物理（111,032个词符）、神学（115,349个词符）和库尔德语教学（153,334个词符）等学科。
- 高频词包括功能词如'在'（لە）、'和'（و）和'到'（بۆ），其词频分布符合齐普夫定律。
- 语料库保留了标点符号和特殊字符，增强了其在需要保持文本完整性的任务中的实用性。
- 规范化过程成功运用官方地区标准解决了拼写不一致问题，提升了文本质量。
- 该语料库可通过https://github.com/KurdishBLARK/KTC以CC BY-NC-SA 4.0许可证公开获取，支持非商业研究使用。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。