[論文レビュー] The CoNLL--SIGMORPHON 2018 Shared Task: Universal Morphological Reinflection

Ryan Cotterell, Christo Kirov+11 more|arXiv (Cornell University)|Oct 16, 2018

Natural Language Processing Techniques参考文献 34被引用数 56

ひとこと要約

本論文は、CoNLL–SIGMORPHON 2018 shared task on supervised morphological reinflection across 103 languages, plus a cloze-style context task in seven languages, with neural systems dominating submissions.

ABSTRACT

The CoNLL--SIGMORPHON 2018 shared task on supervised learning of morphological generation featured data sets from 103 typologically diverse languages. Apart from extending the number of languages involved in earlier supervised tasks of generating inflected forms, this year the shared task also featured a new second task which asked participants to inflect words in sentential context, similar to a cloze task. This second task featured seven languages. Task 1 received 27 submissions and task 2 received 6 submissions. Both tasks featured a low, medium, and high data condition. Nearly all submissions featured a neural component and built on highly-ranked systems from the earlier 2017 shared task. In the inflection task (task 1), 41 of the 52 languages present in last year's inflection task showed improvement by the best systems in the low-resource setting. The cloze task (task 2) proved to be difficult, and few submissions managed to consistently improve upon both a simple neural baseline system and a lemma-repeating baseline.

研究の動機と目的

• 類型的に多様な言語全体で監督形態再反復性の動機づけとベンチマークを行う。
• 屈折形から文脈内の屈折（クローズタスク）へ範囲を広げる。
• 低・中・高リソース regime を含む多言語データと評価設定を提供する。
• ベースラインや以前のタスクと比較することでニューラル法の革新を促進する。

提案手法

• 2つのタスクを定義する。Task 1 は、対象のMSD（形態統語説明）を与えて語幹を屈折させる。Task 2 は、対象トークンの観測済みMSDを欠く状態で文脈内を屈折させ、監督の度合いを変えた2つのトラックで行う。
• Task 1 のデータは103言語（主に Wiktionary）から来ており UniMorph feature bundles を使用する。テスト例は観測された lemma–MSD–inflected form の三つ組からサンプリングされる。
• Task 2 は UD treebanks を UniMorph に変換して2つのトラックで使用する。トレーニングデータは3つの規模（low, medium, high）からサンプリングされ、テスト用の妥当な文脈形を含む注釈が付く。
• 文脈語（Track 1 では語幹・MSD を含む）に条件づけられた encoder–decoder アーキテクチャを用いたニューラルベースラインを使用。ベースラインには単純なコピーや規則ベース/情報記憶型のベースラインを含む。
• 評価は標準の監督学習再屈折指標と、クライズタスクの人間注釈付き妥当形集合に依存する。

実験結果

リサーチクエスチョン

• RQ1 少ない訓練データで、大きな typological 多様性を持つ言語群に対して屈折を一般化できるか（Task 1）？
• RQ2 クライズ型設定（Task 2）で文脈から正しい屈折形を推定する能力はどの程度か、特に監督の度合いが異なる場合？
• RQ3 データサイズ（low/medium/high）が言語とタスク全体の性能に与える影響は？
• RQ4 ニューラル再屈折モデルは両方のタスクで従来のベースラインおよび単純なコピー・ベースラインを上回るか？

主な発見

• Task 1 では、最良系は低リソース設定で前年度から継続する52言語を含む多くの言語でベースラインを上回る。
• Task 2 はより難しく、単純なニューラルベースラインやlemma-repeatingベースラインを安定して上回る提出物が少ない。
• 共有タスクのデータセットは多様な言語家族と形態を横断し、非局所的およびテンプレート型の形態を学習することをモデルに挑ませる。
• 全体の参加は15チーム、タスクを跨いで33システムを含み、広い関心と多様なシステム設計を示している。