[論文レビュー] Multi Task Deep Morphological Analyzer: Context Aware Joint Morphological Tagging and Lemma Prediction

Saurav Jha, Akhilesh Sudhakar+1 more|arXiv (Cornell University)|Nov 21, 2018

Natural Language Processing Techniques参考文献 64被引用数 4

ひとこと要約

本稿では、マルチタスク学習を用いてヒンディ語およびウルドゥ語における画素レベルの深層ニューラルネットワークであるMT-DMAを提案する。6つの語彙的タグ（品詞、性、数、人称、格、TAM）と語彙素の予測を、共有された初期パラメータとコンテキストに配慮した特徴量を用いて同時に最適化することで、すべての7つのタスクで最先端の性能を達成し、文字レベル表現のマルチオブジェクティブ最適化により、従来手法を上回る結果を得た。

ABSTRACT

The ambiguities introduced by the recombination of morphemes constructing several possible inflections for a word makes the prediction of syntactic traits in Morphologically Rich Languages (MRLs) a notoriously complicated task. We propose the Multi Task Deep Morphological analyzer (MT-DMA), a character-level neural morphological analyzer based on multitask learning of word-level tag markers for Hindi and Urdu. MT-DMA predicts a set of six morphological tags for words of Indo-Aryan languages: Parts-of-speech (POS), Gender (G), Number (N), Person (P), Case (C), Tense-Aspect-Modality (TAM) marker as well as the Lemma (L) by jointly learning all these in one trainable framework. We show the effectiveness of training of such deep neural networks by the simultaneous optimization of multiple loss functions and sharing of initial parameters for context-aware morphological analysis. Exploiting character-level features in phonological space optimized for each tag using multi-objective genetic algorithm, our model establishes a new state-of-the-art accuracy score upon all seven of the tasks for both the languages. MT-DMA is publicly accessible: code, models and data are available at https://github.com/Saurav0074/morph_analyzer.

研究の動機と目的

• ヒンディ語やウルドゥ語を含む語彙的豊富言語（MRLs）における語彙的曖昧性の課題に対処すること。
• 複数のタスクを同時に学習することで、語彙的タグ付けと語彙素予測の精度を向上させること。
• マルチオブジェクティブ遺伝的アルゴリズムを用いて最適化された文字レベル表現を活用し、より良いコンテキスト認識を実現すること。
• インド・アリヤン語の7つの語彙的予測タスクにおいて、新たな最先端の性能ベンチマークを確立すること。

提案手法

• モデルは、語彙的パターンを捉えるために文字レベルの入力シーケンスで訓練された深層ニューラルネットワークアーキテクチャを採用する。
• マルチタスク学習を用いて、6つの語彙的タグ予測（品詞、性、数、人称、格、TAM）と語彙素予測を同時に最適化する。
• 共有された初期層が低レベル特徴を抽出し、各出力ヘッドに対してタスク固有の分岐を設ける。
• 文字レベル特徴量は、音声空間でマルチオブジェクティブ遺伝的アルゴリズムを用いて最適化され、コンテキスト認識が向上する。
• トレーニング中に複数の損失関数を同時に最小化することで、汎化性能と表現学習が向上する。
• フレームワークによりタスク間でのパラメータ共有が可能となり、データ効率が向上し、リソースが限られた語彙的解析タスクの性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 複数の語彙的タグ付けと語彙素予測タスクを統合的に学習することで、語彙的豊富言語における性能が向上するか？
• RQ2 共有表現を用いたマルチタスク学習は、ヒンディ語およびウルドゥ語における文字レベル語彙的解析にどの程度効果的か？
• RQ3 マルチオブジェクティブ遺伝的アルゴリズムで最適化されたコンテキストに配慮した文字レベル特徴量は、語彙的タグ付けの正確性を向上させるか？
• RQ4 複数の損失関数を同時に最適化することで、より良い汎化性能と最先端の結果が得られるか？
• RQ5 タスク間でのパラメータ共有は、リソースが限られた語彙的解析タスクの性能をどの程度向上させるか？

主な発見

• MT-DMAは、ヒンディ語およびウルドゥ語の7つの語彙的予測タスクすべてで、新たな最先端の正確度スコアを達成した。
• モデルは、品詞、性、数、人称、格、TAMマーカー、語彙素の予測において、既存の手法を上回った。
• 共有された初期パラメータを用いたマルチタスク学習は、単一タスクベースラインと比較して顕著に性能を向上させた。
• マルチオブジェクティブ遺伝的アルゴリズムで最適化された文字レベル特徴量の使用により、コンテキスト認識と予測正確性が向上した。
• 複数の損失関数の統合的最適化により、語彙的タグ全体にわたる汎化性能と頑健性が向上した。
• モデルは公開されており、コード、トレーニング済みモデル、データセットを含むため、再現性が確保され、さらなる研究が可能である。