[论文解读] Lisan: Yemeni, Iraqi, Libyan, and Sudanese Arabic Dialect Copora with Morphological Annotations

Mustafa Jarrar, Fadi A. Zaraket+3 more|arXiv (Cornell University)|Dec 13, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本文介绍了 Lîsan̄，一个包含 1.2 百万条形态标注词素的多语言语料库，涵盖也门、伊拉克、利比亚和苏丹的阿拉伯语方言，数据来源于社交媒体。作者开发了阿拉伯语方言标注工具包（ADAT），利用 SAMA 和 Curras 标注体系，通过训练有素的母语者和迭代验证，实现标注的一致性与高质量，最终形成开源、高质量的低资源方言 NLP 研究资源。

ABSTRACT

This article presents morphologically-annotated Yemeni, Sudanese, Iraqi, and Libyan Arabic dialects Lisan corpora. Lisan features around 1.2 million tokens. We collected the content of the corpora from several social media platforms. The Yemeni corpus (~ 1.05M tokens) was collected automatically from Twitter. The corpora of the other three dialects (~ 50K tokens each) came manually from Facebook and YouTube posts and comments. Thirty five (35) annotators who are native speakers of the target dialects carried out the annotations. The annotators segemented all words in the four corpora into prefixes, stems and suffixes and labeled each with different morphological features such as part of speech, lemma, and a gloss in English. An Arabic Dialect Annotation Toolkit ADAT was developped for the purpose of the annation. The annotators were trained on a set of guidelines and on how to use ADAT. We developed ADAT to assist the annotators and to ensure compatibility with SAMA and Curras tagsets. The tool is open source, and the four corpora are also available online.

研究动机与目标

• 通过创建高质量、形态标注的语料库，解决 NLP 领域中阿拉伯语方言资源不足的问题。
• 开发一种协作式标注框架，确保在多种方言间实现一致性和高质量。
• 支持低资源方言中的词性标注、命名实体识别和形态归一化等 NLP 任务。
• 为学术研究提供开源工具和数据集，提升可及性与可复现性。
• 通过 SAMA 和 Curras 标注体系实现方言间的标注标准化，支持跨方言比较。

提出的方法

• 从 Facebook、Twitter 和 YouTube 收集文本，形成四个方言专用语料库：也门语（110 万词素）、伊拉克语（4.6 万）、利比亚语（5.2 万）和苏丹语（5.2 万）。
• 开发了 ADAT，一个开源标注工具，可从 SAMA、Curras 和先前标注中检索建议的形态解决方案，以加快并标准化标注过程。
• 使用标准化指南培训了 35 名母语标注员，并通过标注者间一致性检查和专家评审实施质量控制。
• 应用 SAMA 和 Curras 标注体系进行形态标注，包括词性、屈折特征和词基归一化。
• 实施置信度评分（高/正常/低）和转介系统，用于处理模糊情况，以维持标注质量。
• 将语料库划分为任务，并通过包含专用讨论频道的协作工作流将任务分配给标注员，以解决各类问题。

实验结果

研究问题

• RQ1 在缺乏标准拼写法的低资源阿拉伯语方言中，如何实现形态标注的一致应用？
• RQ2 使用具备共享解决方案建议的半自动标注工具，对标注速度和一致性有何影响？
• RQ3 在标准化标注体系和协作工具的引导下，母语者在多大程度上能实现高质量标注？
• RQ4 如何组织和共享来自多种阿拉伯语方言的形态标注语料库，以支持未来的 NLP 研究？
• RQ5 也门语、伊拉克语、利比亚语和苏丹语阿拉伯语在形态、词汇和语音方面存在哪些关键差异，影响 NLP 处理？

主要发现

• Lîsan̄ 在四种阿拉伯语方言中包含 120 万个完全标注的词素，其中也门语占 110 万个词素，其余三种方言各超过 5 万个词素。
• 语料库包含 4.8 万个文档（推文、帖子、评论），仅也门语语料库就包含 45,085 个唯一词基，表明词汇多样性显著。
• 通过质量控制措施，标注过程实现了高度一致性：仅保留标注者间一致性高的标注员，转介系统确保了模糊情况的准确性。
• ADAT 通过从 SAMA、Curras 和先前标注中提供上下文感知的预设形态解决方案，显著提升了标注效率。
• 语料库和 ADAT 已在 https://portal.sina.birzeit.edu/curras/ 公开获取，支持可复现的研究和未来方言 NLP 的发展。
• 作者计划在现有形态标注基础上，进一步扩展语料库，增加命名实体识别和义项标注词典。