[論文レビュー] Neural Morphological Tagging from Characters for Morphologically Rich Languages

Georg Heigold, Guenter Neumann+1 more|arXiv (Cornell University)|Jun 21, 2016

Natural Language Processing Techniques参考文献 18被引用数 15

ひとこと要約

本稿では、ドイツ語やチェコ語のような屈曲語に適した文字ベースのニューラル意味素性タギングシステムを提案する。深層ニューラルネットワーク（CNN、LSTM、BLSTM）を用いて文字から単語表現を学習し、未知語に対する一般化性能を向上させる。最良のモデルはドイツ語のPOS MORPHタギングで6.67%の誤差率を達成し、適切なアーキテクチャ選定と最適化により、先行する最先端手法よりも相対的に30%以上も向上した。

ABSTRACT

This paper investigates neural character-based morphological tagging for languages with complex morphology and large tag sets. We systematically explore a variety of neural architectures (DNN, CNN, CNNHighway, LSTM, BLSTM) to obtain character-based word vectors combined with bidirectional LSTMs to model across-word context in an end-to-end setting. We explore supplementary use of word-based vectors trained on large amounts of unlabeled data. Our experiments for morphological tagging suggest that for "simple" model configurations, the choice of the network architecture (CNN vs. CNNHighway vs. LSTM vs. BLSTM) or the augmentation with pre-trained word embeddings can be important and clearly impact the accuracy. Increasing the model capacity by adding depth, for example, and carefully optimizing the neural networks can lead to substantial improvements, and the differences in accuracy (but not training time) become much smaller or even negligible. Overall, our best morphological taggers for German and Czech outperform the best results reported in the literature by a large margin.

研究の動機と目的

• 未知語率の高い意味素性豊富な言語における意味素性タギングの精度を向上させること。
• さまざまなニューラルアーキテクチャ（DNN、CNN、CNNHighway、LSTM、BLSTM）が文字レベルの単語表現学習に与える影響を評価すること。
• 文字ベースのモデルと組み合わせた事前学習済み単語埋め込み（word2vec）の利点を評価すること。
• アーキテクチャの選定とモデル容量のどちらが性能により大きな影響を与えるかを特定すること。
• 既存の最先端手法を上回る強力なベースラインを、文字ベースの意味素性タギングの分野に確立すること。

提案手法

• エンドツーエンドのニューラルタギングフレームワーク内で、双方向LSTMを用いて単語間の文脈をモデル化する。
• DNN、CNN、CNNHighway、LSTM、BLSTMなど、さまざまなニューラルアーキテクチャを用いて、文字レベルの単語表現を学習する。
• 意味素性分割に依存せずに、教師ありのエンドツーエンドの方法で文字ベースの単語ベクトルを学習する。
• 大規模な無ラベルコーパスから得た事前学習済みword2vec埋め込みを、文字ベースの表現と補完する。
• モデル容量を向上させ、深さを増し、ハイパーパrameterを最適化することで一般化性能を向上させる。
• ドイツ語とチェコ語の両言語に同一のアーキテクチャとトレーニング設定を適用し、比較可能性と頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 CNN、LSTM、BLSTMなど、さまざまなニューラルアーキテクチャは、意味素性タギングのための効果的な文字レベルの単語表現学習において、どのように比較されるか？
• RQ2 事前学習済みword2vec埋め込みの追加は性能向上に寄与するか？また、これはモデルの複雑さに依存するか？
• RQ3 モデルの深さと容量を増やすことで、アーキテクチャ間の性能差はどの程度縮小されるか？
• RQ4 この設定において、さまざまなニューラルアーキテクチャのトレーニング時間と推論効率は、どのように変化するか？
• RQ5 文字ベースのモデルは、意味素性豊富な言語における既存の最先端システムを上回る性能を発揮できるか？

主な発見

• ドイツ語の最良の文字ベース意味素性タガーモデルは、POS MORPHタギングで6.67%の誤差率を達成し、前回の最先端手法よりも相対的に30%以上も向上した。
• 単純なモデルでは、事前学習済みword2vec埋め込みが大きな向上をもたらした（例：8.72%から6.67%の誤差率に改善）が、より深い、よく最適化されたモデルではその恩恵が薄れた。
• モデル容量が十分に高められると、アーキテクチャ間の性能差（CNN対LSTM対BLSTM）はほとんどなくなることが示され、容量のほうがアーキテクチャ選定よりも重要であることがわかった。
• CNNHighwayとBLSTMアーキテクチャは類似した性能を示したが、CNNHighwayはLSTMよりもわずかに高い精度と、低いメモリ使用量を示した。
• トレーニング時間は顕著に異なった：著者らのTorchベース実装では、CNNベースのモデルはLSTMベースのモデルよりも2〜4倍遅かったが、精度は優れていた。
• 本システムはドイツ語およびチェコ語の両方で最先端の性能を達成し、最良のモデルは、従来のCRFベースの手法よりも誤差率を25%以上も相対的に低減した。