[论文解读] The CoNLL--SIGMORPHON 2018 Shared Task: Universal Morphological Reinflection

Ryan Cotterell, Christo Kirov+11 more|arXiv (Cornell University)|Oct 16, 2018

Natural Language Processing Techniques参考文献 34被引用 56

一句话总结

本文介绍了 CoNLL–SIGMORPHON 2018 共享任务，涵盖对103种语言的有监督形态再映射，以及七种语言的完形上下文任务，神经系统在提交中占主导。

ABSTRACT

The CoNLL--SIGMORPHON 2018 shared task on supervised learning of morphological generation featured data sets from 103 typologically diverse languages. Apart from extending the number of languages involved in earlier supervised tasks of generating inflected forms, this year the shared task also featured a new second task which asked participants to inflect words in sentential context, similar to a cloze task. This second task featured seven languages. Task 1 received 27 submissions and task 2 received 6 submissions. Both tasks featured a low, medium, and high data condition. Nearly all submissions featured a neural component and built on highly-ranked systems from the earlier 2017 shared task. In the inflection task (task 1), 41 of the 52 languages present in last year's inflection task showed improvement by the best systems in the low-resource setting. The cloze task (task 2) proved to be difficult, and few submissions managed to consistently improve upon both a simple neural baseline system and a lemma-repeating baseline.

研究动机与目标

• 在类型学上多样的语言中推动并基准化有监督的形态再映射。
• 将范围从屈折形式扩展到句子上下文中的屈折（完形任务）。
• 提供具有低、中、高资源规模的多语言数据与评估设置。
• 通过与基线和前任务的比较，鼓励神经方法的创新。

提出的方法

• 定义了两项任务：任务1在给定目标形态-句法描述（MSD）时对词干进行屈折；任务2在上下文中对目标词元进行屈折，但没有观测到该词元的MSD，分两条轨道，监督程度不同。
• 任务1的数据来自103种语言（大多来自 Wiktionary），并使用 UniMorph 特征束；测试样例从观测到的 lemma–MSD–inflected form 三元组中抽取。
• 任务2 使用转换为 UniMorph 的 UD 语法树库分为两条轨道；训练数据按三个规模（低/中/高）抽样，注释包括用于测试的可行上下文形式。
• 使用以上下文单词为条件的编码器–解码器神经基线（任务1中对词干和MSD），基线包括一个简单复制和一个基于规则/信息记忆风格的基线。
• 评估基于标准的有监督学习形态再映射度量，以及用于完形任务的人类注释的可行形式集合。

实验结果

研究问题

• RQ1 在训练数据稀疏的情况下，有监督模型是否能跨大量类型学多样的语言泛化屈折（任务1）？
• RQ2 在完形样式的上下文中，模型多大程度上能推断出正确的屈折形式（任务2），特别是在不同监督程度下？
• RQ3 数据规模（低/中/高）对各语言及各任务的性能有何影响？
• RQ4 在两项任务中，神经再映射模型是否优于传统基线和简单复制基线？

主要发现

• 在任务1中，最优系统在低资源设置下对许多语言实现了相对于基线的提升，覆盖前一年保留的52种语言。
• 任务2 更具挑战性，较少的提交持续超过简单神经基线和词元重复基线。
• 共享任务数据集涵盖多样的语言族和形态学，挑战模型学习非局部和模板化的形态。
• 总体参与包括15个团队和跨任务的33个系统，表明广泛的兴趣和多样的系统设计。