[论文解读] MADARi: A Web Interface for Joint Arabic Morphological Annotation and Spelling Correction

Ossama Obeid, Salam Khalifa+4 more|arXiv (Cornell University)|Aug 25, 2018

Natural Language Processing Techniques参考文献 22被引用 6

一句话总结

MADARi 是一个基于网络的标注界面，可联合执行阿拉伯语拼写纠正与形态学标注，集成拼写规范化至 CODA 格式、分词、词性标注、词干还原和词义标注。通过提供实时形态学分析建议和基于词素的编辑系统，提高了效率并减少了错误传播，在用户评估中实现了 74% 的分词准确率以及 69-70% 的词性与词干建议准确率。

ABSTRACT

In this paper, we introduce MADARi, a joint morphological annotation and spelling correction system for texts in Standard and Dialectal Arabic. The MADARi framework provides intuitive interfaces for annotating text and managing the annotation process of a large number of sizable documents. Morphological annotation includes indicating, for a word, in context, its baseword, clitics, part-of-speech, lemma, gloss, and dialect identification. MADARi has a suite of utilities to help with annotator productivity. For example, annotators are provided with pre-computed analyses to assist them in their task and reduce the amount of work needed to complete it. MADARi also allows annotators to query a morphological analyzer for a list of possible analyses in multiple dialects or look up previously submitted analyses. The MADARi management interface enables a lead annotator to easily manage and organize the whole annotation process remotely and concurrently. We describe the motivation, design and implementation of this interface; and we present details from a user study working with this system.

研究动机与目标

• 解决在拼写不规则、具有方言特征、拼写混乱且形态复杂的情况下标注阿拉伯语文本的挑战。
• 通过在单一工作流中整合拼写纠正与形态学标注，减少各标注阶段之间的错误传播。
• 为大规模阿拉伯语文本语料库提供高效、可扩展的标注支持，支持多名标注员协作并具备质量监控功能。
• 提供用户友好的基于网络的界面，支持协作标注，并具备实时反馈与管理工具。
• 通过将形态学分析与规范化至 CODA 格式相结合，实现对海湾阿拉伯语方言的准确且一致的标注。

提出的方法

• 系统采用受 QAWI 和 MANDIAC 启发的基于词素的编辑界面，支持精确、原子化的文本修改操作，如拆分、合并和替换词素。
• 利用 MADAMIRA 的形态学分析器，为每个词素预先计算并建议词性标签、词干、词义标注及形态特征。
• 界面支持实时分析搜索，使标注员可查询替代分析结果，并从多个选项中进行选择。
• 采用混合式数据存储系统，可在不修改后端的情况下灵活扩展标注功能。
• 管理界面包含用户与文档管理工具、标注者间一致性（IAA）评估功能，以及标注数据的导出功能。
• 拼写纠正通过将原始的、噪声较大的方言拼写转换为标准化的 CODA 格式，经由系统化的词素级编辑实现。

实验结果

研究问题

• RQ1 如何在一个标注界面中有效整合阿拉伯语方言的拼写纠正与形态学标注？
• RQ2 与顺序处理相比，联合标注在多大程度上减少了错误传播？
• RQ3 实时分析建议对标注速度与准确率有何影响？
• RQ4 基于词素的编辑模型在处理海湾阿拉伯语复杂形态与拼写变异方面有多高效？
• RQ5 基于网络的系统能否通过 IAA 监控实现可扩展的协作标注并确保可靠的质量控制？

主要发现

• 标注员在约 52 分钟内完成拼写纠正与规范化至 CODA 格式，标注速率达每小时 1,563 个词。
• 在 1,355 个原始词素中，有 288 个（占 21%）在拼写纠正过程中被修改，主要通过拼写调整和词素拆分实现（44 例，占修改总数的 15%）。
• 完整的形态学标注任务（包括分词、词性标注、词干还原与词义标注）耗时约 6 小时，标注速率为每小时 277 个词。
• 该工具在分词方面提供正确建议的准确率为 74%，在基础词性标签方面为 69%，在词干方面为 70%，显著减少了手动工作量。
• 标注员报告称，能够同时标注多个相同类型的词素以及实时分析搜索功能具有很高的实用性。
• 通过在单一工作流中整合纠正与标注，系统成功最小化了错误传播，且可在标注后进行少量修正。