[論文レビュー] Towards JointUD: Part-of-speech Tagging and Lemmatization using Recurrent Neural Networks

Gor Arakelyan, Karen Hambardzumyan+1 more|arXiv (Cornell University)|Sep 10, 2018

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、Universal Dependenciesの木構造データセットにおいて、語のlemmata、品詞タグ、21の屈折的特徴を同時に予測するための統合ニューラルネットワークアーキテクチャを提案する。モデルはLSTMを用い、文字レベルのデコーダーと位置情報の文脈を拡張したシーケンスタギングフレームワークを採用しており、最適化が完全でないにもかかわらず9言語で競争力ある性能を示しており、エンドツーエンドの統合的依存構文解析と語彙還元への基盤的段階を示している。

ABSTRACT

This paper describes our submission to CoNLL 2018 UD Shared Task. We have extended an LSTM-based neural network designed for sequence tagging to additionally generate character-level sequences. The network was jointly trained to produce lemmas, part-of-speech tags and morphological features. Sentence segmentation, tokenization and dependency parsing were handled by UDPipe 1.2 baseline. The results demonstrate the viability of the proposed multitask architecture, although its performance still remains far from state-of-the-art.

研究の動機と目的

• UDの木構造データセットにおける語のlemmata、品詞タグ、屈折的特徴を統合的に予測する統一されたニューラルアーキテクチャの開発。
• 既存のシーケンスタギングLSTMモデルを拡張し、lemmata予測のための文字レベルのシーケンス生成を可能にする。
• 共有エンコーダ表現を用いたマルチタスク学習による屈折的および語彙的表現学習の可能性の検討。
• CoNLL 2018 UD共有タスクにおいて、UDPipe 1.2をパースおよびトークン化のベースラインとして用い、複数言語でのモデル性能の評価。
• lemmata生成の向上に寄与するアーキテクチャ的改善（例：入力インジェクション、位置符号化）の同定。

提案手法

• モデルは、FastTextからの単語埋め込みとサブワードモデリングのための文字レベル埋め込みを用いた、双方向LSTMエンコーダで語のシーケンスを処理する。
• lemmata生成のため、エンコーダの最終隠れ状態と語内の位置を条件とした、別個の自己回帰的デコーダを導入する。
• 位置符号化は、各デコーディングステップで残りの文字数をインジェクションすることで実装され、文脈認識の向上が図られる。
• POSタグ付け、屈折的特徴、lemmata予測の3つの損失関数を、ハイパーパramータ λp=0.2（POSタグ付けのため）を用いた重み付き和損失で同時に最適化する。
• 過学習の緩和のため、特徴抽出LSTMの前段にドロップアウトを適用するが、再帰的ドロップアウトやノイズインジェクションは使用しない。
• モデルは9つのUD v2.2木構造データセットで評価され、lemmata、POS、特徴の予測がUDPipe 1.2の出力に置き換えられる。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークが、競争力ある性能を発揮しながら、lemmata、品詞タグ、屈折的特徴を統合的に予測できるか？
• RQ2 エンコーダの隠れ状態と位置情報のインジェクションが、lemmata生成の質に与える影響は何か？
• RQ3 損失重み係数の設定が、マルチタスク学習における複数タスクの性能バランスに与える影響は何か？
• RQ4 英語やヨーロッパ言語では成功しているが、アラビア語や韓国語のような合成語言語では一般化が著しく劣る理由は何か？
• RQ5 アーキテクチャ設計（例：デコーダ入力設計、アテンション機構）が、モデルの屈折的パターン学習能力に与える影響はどの程度か？

主な発見

• 英語、フランス語、スウェーデン語の木構造データセットで競争力ある結果を達成し、lemmata F1スコアはそれぞれ95.84（EWT）、95.84（Spoken）、95.30（Talbanken）を記録。一部のケースでUDPipe 1.2のベースラインを上回った。
• エンコーダの隠れ状態と位置に敏感な符号化の追加により、lemmata生成が顕著に向上し、特に英語では誤った接尾語除去などの単純な誤りが減少した。
• アラビア語と韓国語では性能が著しく低く、lemmata F1スコアはそれぞれ87.41と87.03にとどまり、合成語言語への一般化能力に限界が見られた。
• POSタグ付けの損失に λp=0.2 を設定したことでlemmata生成が向上し、マルチタスク学習におけるタスク損失のバランスが重要であることが示された。
• ハイパーパramータのチューニングが限定的であったにもかかわらず、共有エンコーダを用いた一括lemmata予測とPOSタグ付けの実現可能性が示され、将来的なJointUDシステムの基盤が築かれた。