[论文解读] Modelling Verbal Morphology in Nen

Saliha Muradoğlu, Nicholas Evans+1 more|arXiv (Cornell University)|Nov 30, 2020

Natural Language Processing Techniques参考文献 18被引用 5

一句话总结

本文首次基于神经网络对Nen动词形态进行建模，Nen是一种高度复杂的帕皮亚诺语，及物动词的屈折形式最多可达1,740种。通过使用最先进的形态重inflection模型，研究发现系统能够从有限数据中学习到非平凡的形态模式（如同形现象），尽管在罕见形式的预测上常因异音变和自由变体错误而出现偏差。

ABSTRACT

Nen verbal morphology is remarkably complex; a transitive verb can take up to 1,740 unique forms. The combined effect of having a large combinatoric space and a low-resource setting amplifies the need for NLP tools. Nen morphology utilises distributed exponence - a non-trivial means of mapping form to meaning. In this paper, we attempt to model Nen verbal morphology using state-of-the-art machine learning models for morphological reinflection. We explore and categorise the types of errors these systems generate. Our results show sensitivity to training data composition; different distributions of verb type yield different accuracies (patterning with E-complexity). We also demonstrate the types of patterns that can be inferred from the training data through the case study of syncretism.

研究动机与目标

• 通过建模Nen高度复杂的动词形态，弥补帕皮亚诺语中资源匮乏的NLP研究空白。
• 探究最先进的神经网络模型在具有分布性词素、低资源且形态复杂度极高的语言上的表现。
• 分析形态重inflection系统中的错误模式，特别是异音变与自由变体错误，以评估模型的鲁棒性。
• 研究训练数据构成（尤其是动词类分布）对模型准确率与泛化能力的影响。
• 评估模型是否能从稀疏数据中推断出隐含的语言模式（如同形现象），而无需显式标注。

提出的方法

• 在低资源的Nen语料库上训练多个最先进的神经形态重inflection模型（Aharoni & Goldberg 2017；Makarov & Clematide 2018）。
• 采用两种数据采样策略：随机采样与齐夫分布采样，以评估动词类分布对模型性能的影响。
• 应用详细的错误分类法（Gorman et al. 2019）对预测失败进行分类，并引入一个新子类别：自由变体。
• 通过评估模型对未见的第二人称单数过去完成时形式的预测，进行同形现象测试，将其与第三人称单数形式进行对比。
• 在不同动词类（前缀类、中缀类、中缀-前缀类）之间测量模型准确率，并基于E-complexity分析性能差异。
• 通过逐步增加训练集组成，隔离动词类频率对模型准确率与泛化能力的影响。

实验结果

研究问题

• RQ1 最先进的神经形态重inflection模型在Nen这种低资源、形态复杂度极高的语言上表现如何？
• RQ2 训练数据构成（尤其是动词类型分布）在多大程度上影响模型的准确率与泛化能力？
• RQ3 神经网络模型能否在缺乏显式标注的情况下，从未知数据中推断出隐含的语言模式（如同形现象）？
• RQ4 形态重inflection系统在Nen上最常见的错误类型是什么？这些错误与形态音系规则或语料特征有何关联？
• RQ5 模型的预测行为是否体现出类人的泛化能力，特别是在训练样本极少的情况下？

主要发现

• 在动词类分布均匀的数据上进行训练的模型准确率更高，其中E-complexity最低的前缀类动词表现最佳。
• Aharoni & Goldberg（2017）模型在100次预测中，有81次将第二人称单数过去完成时形式预测为与第三人称单数同形，表明其对隐含模式具有较强的推断能力。
• Makarov & Clematide（2018）模型表现出更强的同形现象偏差，100次未见的第二人称单数形式中有90次被预测为与第三人称单数完全相同。
• 异音变错误是最常见的错误类型，反映出形态音系规则或特征映射的误用。
• 自由变体被识别为一种新的错误子类别，源于语料的自然口语来源，而非模型本身的问题。
• 随机采样与齐夫分布采样之间未发现显著差异，但齐夫分布采样略微高估了常见前缀类动词，影响了整体准确率模式。