[論文レビュー] Improved Transition-Based Parsing by Modeling Characters instead of Words with LSTMs

Miguel Ballesteros, Chris Dyer+1 more|RECERCAT (Consorci de Serveis Universitaris de Catalunya)|Aug 4, 2015

Natural Language Processing Techniques参考文献 39被引用数 71

ひとこと要約

本稿では、従来の単語埋め込みの代わりに、文字レベルのLSTMに基づく単語表現を用いた遷移ベースの依存解析のための手法を提案している。文字列としての単語を双方向LSTMでモデル化することで、形態素的規則性を暗黙的に捉え、語彙の豊富な言語における性能を向上させた。SPMRLベンチマークで最先端の結果を達成しており、形態素特徴や品詞タグの明示的指定が不要である。

ABSTRACT

We present extensions to a continuous-state dependency parsing method that makes it applicable to morphologically rich languages. Starting with a high-performance transition-based parser that uses long short-term memory (LSTM) recurrent neural networks to learn representations of the parser state, we replace lookup-based word representations with representations constructed from the orthographic representations of the words, also using LSTMs. This allows statistical sharing across word forms that are similar on the surface. Experiments for morphologically rich languages show that the parsing model benefits from incorporating the character-based encodings of words.

研究の動機と目的

• 形態素的豊富な言語における遷移ベースの依存解析を、単語レベルではなく文字レベルで単語形をモデル化することで向上させること。
• 文字レベルの表現を通じて類似した語形間での統計的共有を可能にし、データスパarsityや未知語（OOV）問題を軽減すること。
• 文字レベルの表現が、明示的な品詞タグや形態素特徴がなくても、形態素情報を暗黙的に捉えられることを検証すること。
• スワップ操作を用いて、非プロジェクト型依存構造を扱えるように、連続状態の解析フレームワークを拡張すること。
• 特にアグルーティブ型や格助詞豊富な言語を含む、多様な形態的タイプにおけるモデルの性能を評価すること。

提案手法

• 連続状態の遷移ベースの解析器における単語レベルの埋め込みを、双方向LSTMによって生成される文字レベルの表現に置き換える。
• 各単語の文字列を1つのLSTMで符号化し、形態的パターンを捉える密なベクトル表現を生成する。
• 文字ベースの単語表現を、スタック、バッファ、アクションの埋め込みを学習可能な変換によって統合した解析器の状態表現に統合する。
• 標準的なシフトおよびリダクション操作に加え、非プロジェクト型依存構造の解析を可能にするためにスワップ操作を導入する。
• ゴールスタンダードのアクションシーケンスの尤度を最大化するように、教師ありバックプロパゲーションを用いてモデル全体をエンドツーエンドで学習する。
• 単語表現と解析器状態モデルの両方で同じRNNアーキテクチャを用いることで、構文的および形態的パターンの共同学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 文字レベルの表現は、単語レベルの埋め込みと比較して、形態素的豊富な言語における依存解析性能を向上させることができるか？
• RQ2 明示的な形態素アノテーションがなくても、文字レベルのLSTMはどの程度形態素的情報を暗黙的に学習できるか？
• RQ3 文字ベースのアプローチは、リソースが限られた環境やOOVが多発する状況において、依存解析の誤り率を低下させるか？
• RQ4 特に形態的複雑な言語において、文字ベースの表現は品詞タグの必要性を代替できるか？
• RQ5 提案手法は、アグルーティブ型や変化型言語に一般的に見られる非プロジェクト型依存構造をどの程度効果的に処理できるか？

主な発見

• 文字ベースのモデルは、バスク語、ハンガリー語、コリア語、ターキッシュ語を含む、形態素的豊富な言語向けのSPMRLベンチマークデータセットで最先端の性能を達成した。
• アグルーティブ型や格助詞豊富な言語において、文字レベルのベースラインと比べて顕著に優れた性能を示し、形態的規則性の強力な捉え具合を示した。
• いくつかの言語では、明示的な品詞タグを用いたモデルと同等またはそれ以上の性能を達成しており、形態的情報が暗黙的に学習されている可能性を示唆した。
• 未知語（OOV）の影響を軽減し、リソースが限られた環境でも耐性が高まった。
• スワップ操作の導入により、形態素的豊富な言語に一般的に見られる非プロジェクト型依存構造の処理が可能になった。
• 事前学習や品詞タグなしでも、英語および中国語においても競争力のある性能を示しており、形態的複雑な言語にとどまらず、広範な適用可能性を示した。