[论文解读] LowResourceEval-2019: a shared task on morphological analysis for low-resource languages

Elena Klyachko, Alexey Sorokin+3 more|arXiv (Cornell University)|Jan 30, 2020

Natural Language Processing Techniques参考文献 8被引用 6

一句话总结

本论文首次针对俄罗斯的低资源语言——埃文基语、卡累利阿语、谢利库普语和韦普斯语——开展了词形分析的共享任务，使用了小型、田野采集的语料库。参赛者采用了基于神经网络的模型，其性能优于基于规则的系统，证明了即使在稀疏、非标准的语言数据下，现代自然语言处理方法依然具有可行性，同时突显了黏着语中元音和谐、辅音交替和词素分割等方面的挑战。

ABSTRACT

The paper describes the results of the first shared task on morphological analysis for the languages of Russia, namely, Evenki, Karelian, Selkup, and Veps. For the languages in question, only small-sized corpora are available. The tasks include morphological analysis, word form generation and morpheme segmentation. Four teams participated in the shared task. Most of them use machine-learning approaches, outperforming the existing rule-based ones. The article describes the datasets prepared for the shared tasks and contains analysis of the participants' solutions. Language corpora having different formats were transformed into CONLL-U format. The universal format makes the datasets comparable to other language corpura and facilitates using them in other NLP tasks.

研究动机与目标

• 推动俄罗斯少数族群低资源语言的语言资源和自然语言处理工具的发展。
• 通过创建标准化、可访问的CONLL-U格式语料库，弥合田野语言学家与自然语言处理研究人员之间的差距。
• 评估现代机器学习技术在低资源环境下词形分析、词素分割和词形生成任务中的表现。
• 识别当前自然语言处理系统在应用于具有方言差异、稀疏且非正式的少数族群语言语料库时的局限性。

提出的方法

• 以CONLL-U格式构建并标准化了埃文基语、卡累利阿语、谢利库普语和韦普斯语的文本语料库，使其能够与现有自然语言处理工具互操作。
• 组织了包含三个子任务的共享任务：词形分析（词性与词性特征）、词素分割和词形生成。
• 邀请四支团队使用机器学习方法，主要基于神经网络，基于小型、非标准化的语料库进行系统开发。
• 应用通用词性标注标准，以确保不同语言和工具之间的一致性与可比性。
• 使用标准参考标注对系统进行评估，误差分析聚焦于语音现象和词形复杂性。
• 公开分享所有数据集和系统，以促进低资源自然语言处理领域的复用与进一步研究。

实验结果

研究问题

• RQ1 在训练数据有限的低资源、黏着性少数族群语言上，现代基于神经网络的模型在词形分析任务中的表现如何？
• RQ2 当应用于田野采集的、非标准的、具有方言差异的语料库时，神经网络模型的主要失效模式是什么？
• RQ3 在低资源环境下，元音和谐、辅音交替和复杂后缀等词形现象在多大程度上对当前自然语言处理系统构成挑战？
• RQ4 标准化的CONLL-U格式语料库在促进低资源语言的自然语言处理工具开发与评估方面能发挥多大作用？
• RQ5 为何词性标注系统在这些低资源、非正式语料库中的表现远低于预期，特别是在将名词与动词混淆时？

主要发现

• 基于神经网络的模型在所有语言和任务中均优于基于规则的系统，证明了深度学习在数据有限情况下的有效性。
• 词形分析中最常见的错误源于非标准词形、外来词分割错误，以及如 kw → kk 或元音和谐等音系形态交替现象。
• 词性标注性能出人意料地偏低，动词常与名词混淆，可能是因为共享词缀以及非正式口语语料库中上下文线索较弱。
• 词素分割错误主要源于对复杂后缀的错误拆分，以及对外来词中带有本族语后缀的误分析。
• 词形生成失败主要由于错误的元音和谐和辅音交替，即使这些模式在训练数据中已存在。
• 尽管存在数据稀疏性和方言差异，表现最佳的系统仍取得了具有竞争力的结果，表明通过适当的预处理和标准化，现代自然语言处理方法可成功应用于低资源、田野采集的语料库。