[论文解读] MorphNet: A sequence-to-sequence model that combines morphological analysis and disambiguation.

Erenay Dayanık, Ekin Akyürek+1 more|arXiv (Cornell University)|May 21, 2018

Natural Language Processing Techniques被引用 11

一句话总结

MorphNet 提出了一种统一的编码-解码循环神经网络，联合执行形态学分析与消歧，用于形态丰富的语言，取代传统的两阶段流水线。在形态学标注文本上进行训练后，它在七种语言的九个数据集上实现了最先进或具有竞争力的性能。

ABSTRACT

We introduce MorphNet, a single model that combines morphological analysis and disambiguation. Traditionally, analysis of morphologically complex languages has been performed in two stages: (i) A morphological analyzer based on finite-state transducers produces all possible morphological analyses of a word, (ii) A statistical disambiguation model picks the correct analysis based on the context for each word. MorphNet uses a sequence-to-sequence recurrent neural network to combine analysis and disambiguation. We show that when trained with text labeled with correct morphological analyses, MorphNet obtains state-of-the art or comparable results for nine different datasets in seven different languages.

研究动机与目标

• 消除处理形态复杂的语言时对单独的形态学分析与消歧阶段的需求。
• 开发一个单一的神经网络模型，联合学习生成所有可能的形态学分析，并根据上下文选择正确的分析结果。
• 通过在标注数据上进行端到端训练，提升形态学处理任务的性能。
• 在多种形态丰富的语言和数据集上评估模型的有效性。

提出的方法

• MorphNet 采用编码-解码循环神经网络架构，将输入词映射到其正确的形态学分析结果。
• 该模型在每个词均标注有正确形态学分析结果的文本上进行端到端训练。
• 它输出形态成分（如词根、词缀）的序列，从而在一步之内实现分析与消歧的结合。
• 该架构使用注意力机制在解码过程中关注相关上下文，提升消歧准确率。
• 模型使用标准的编码-解码损失进行训练，以优化预测结果与真实形态学分析之间的对齐。

实验结果

研究问题

• RQ1 一个单一的神经网络能否在无需分离阶段的情况下有效结合形态学分析与消歧？
• RQ2 在标注的形态学数据上进行端到端训练，与传统的两阶段系统相比，性能如何？
• RQ3 MorphNet 在不同形态丰富的语言和数据集上的泛化能力如何？
• RQ4 对分析与消歧进行联合建模是否能提升下游任务的准确率？

主要发现

• MorphNet 在七种不同语言的九个数据集上实现了最先进或具有竞争力的结果。
• 该模型通过以端到端方式联合学习分析与消歧，优于传统的两阶段方法。
• 即使在低资源形态学设置下，性能仍有所提升，得益于模型对上下文信息的利用能力。
• 统一的架构降低了复杂性，并消除了单独的分析与消歧模块之间的误差传播。