[論文レビュー] UniMorph 4.0: Universal Morphology

Khuyagbaatar Batsuren, Omer Goldman+94 more|arXiv (Cornell University)|May 7, 2022

Natural Language Processing Techniques参考文献 63被引用数 36

ひとこと要約

UniMorph 4.0 は、階層的な注釈、16言語の形態素切分、30言語の派生形態データ、そして UD treebanks への自動検証ツールを備え、67言語（計182言語）を追加した多言語形態資源を拡張します。

ABSTRACT

The Universal Morphology (UniMorph) project is a collaborative effort providing broad-coverage instantiated normalized morphological inflection tables for hundreds of diverse world languages. The project comprises two major thrusts: a language-independent feature schema for rich morphological annotation and a type-level resource of annotated data in diverse languages realizing that schema. This paper presents the expansions and improvements made on several fronts over the last couple of years (since McCarthy et al. (2020)). Collaborative efforts by numerous linguists have added 67 new languages, including 30 endangered languages. We have implemented several improvements to the extraction pipeline to tackle some issues, e.g. missing gender and macron information. We have also amended the schema to use a hierarchical structure that is needed for morphological phenomena like multiple-argument agreement and case stacking, while adding some missing morphological features to make the schema more inclusive. In light of the last UniMorph release, we also augmented the database with morpheme segmentation for 16 languages. Lastly, this new release makes a push towards inclusion of derivational morphology in UniMorph by enriching the data and annotation schema with instances representing derivational processes from MorphyNet.

研究の動機と目的

• 何百もの言語に対して広範なカバー範囲の、具体化された形態変化表を提供する。
• 多個人同時一致（ポリペルソナル・アグリメント）や格積みといった複雑な現象を扱えるよう、注釈スキーマを改善する。
• 形態素分割と派生形態データを付加する。
• Universal Dependencies との自動検証によってデータ品質を向上させる。

提案手法

• UniMorph スキーマに階層的な特徴構造を導入し、多引数一致と格積みをサポートする。
• 言語固有の屈折形態素データセットと再帰的分割アルゴリズムを用いて、16言語の形態素分割データを追加する。
• 30言語にまたがる12の Wiktionary 編集版から、4.3 million の予備派生を抽出・融合し、769,102件の最終派生と 12,420件の接辞を得る。
• 複数言語に対して UD treebanks と比較して精度・再現率・F値を計算するため、既存の UniMorph 検証ツールを拡張する。
• MorphyNet由来データと協力して、派生パラダイムを編纂・公開する。

実験結果

リサーチクエスチョン

• RQ1 UniMorph は多様な言語に跨る階層形態を一様に表現するよう、どのように注釈スキーマを拡張できるか？
• RQ2 形態素分割と派生形態の追加が、UniMorph データセットの網羅性と使いやすさに与える影響はどの程度か？
• RQ3 複数言語にわたる自動検証を通じて、UniMorph 4.0 は Universal Dependencies との整合性がどれくらいか？
• RQ4 UniMorph 4.0 で達成された新規データの規模（言語数、屈折、派生）是多少？

主な発見

• UniMorph 4.0 は 182 言語と 122 million の屈折形、さらに 30 言語にわたる 769 thousand の派生をカバーします。
• 67 new languages were added, including 30 endangered languages, bringing total datasets to 182 languages.
• ポリペルソナル一致と格積みをサポートする階層的注釈スキーマが実装され、格の注釈は順序を保持する方式で適用されます。
• 16 言語に形態素分割データがあり、屈折形の再帰的分割を可能にします。
• 30 言語には派生パラダイムが備わり、769,102 の派生と 12,420 の接辞を生み出します。
• UD treebanks に対する自動検証ツールは再現率の向上を示し（例：ロシア語の再現率は v4.0 で最大 61.5%）、高い精度を維持します（最大 99.7%）。
• 12 の Wiktionary 編集版と 30 言語から抽出された派生データを融合して重複を減らし、より完全な派生を提供します。