[論文レビュー] Transition-Based Dependency Parsing with Stack Long Short-Term Memory

Chris Dyer, Miguel Ballesteros+3 more|Repositori digital de la UPF (Universitat Pompeu Fabra)|May 29, 2015

Natural Language Processing Techniques参考文献 39被引用数 526

ひとこと要約

この論文は、スタック操作をサポートする新しい再帰ニューラルネットワークアーキテクチャ、スタックLSTMを導入し、遷移ベースの依存構文解析におけるパーサー状態をモデル化する。全スタック、バッファ、およびアクション履歴の連続的埋め込みを維持することで、グローバル状態情報が捉えられ、エンドツーエンドの誤差逆伝播学習を用いて英語および中国語の依存構文解析ベンチマークで最先端の性能を達成する。

ABSTRACT

We propose a technique for learning representations of parser states in transition-based dependency parsers. Our primary innovation is a new control structure for sequence-to-sequence neural networks---the stack LSTM. Like the conventional stack data structures used in transition-based parsing, elements can be pushed to or popped from the top of the stack in constant time, but, in addition, an LSTM maintains a continuous space embedding of the stack contents. This lets us formulate an efficient parsing model that captures three facets of a parser's state: (i) unbounded look-ahead into the buffer of incoming words, (ii) the complete history of actions taken by the parser, and (iii) the complete contents of the stack of partially built tree fragments, including their internal structures. Standard backpropagation techniques are used for training and yield state-of-the-art parsing performance.

研究の動機と目的

• 従来の遷移ベースパーサーがパーサー状態の狭い局所的視点に依存するという制限を解消すること。
• 入力バッファ、部分的に構築された句構造のスタック、およびアクション履歴という完全なパーサー状態を、統一されたニューラル表現でモデル化すること。
• グローバル状態への感受性にもかかわらず、線形時間計算量を維持する微分可能で効率的なパーサーモデルを開発すること。
• 構文構造の豊かな合成的表現を学習することで、依存構文解析の精度を最先端水準に高めること。
• パーサーにおけるグローバル文脈認識が、スタック拡張LSTMアーキテクチャを用いて効率的に達成可能であることを示すこと。

提案手法

• スタック操作（プッシュ・ポップ）をサポートするLSTMの変種、スタックLSTMを提案し、持続的かつ継続的に更新されるスタックメモリを有するシーケンスモデリングを可能にする。
• 入力バッファ、部分的に構築された句構造のスタック、およびパーサーのアクション履歴をそれぞれ別々のスタックLSTMで表現する。
• 木断片の表現を合成するために再帰的ニューラルネットワークを用い、部分的パースツリーにおける構文構造の合成的モデリングを可能にする。
• エンドツーエンド学習のため、標準的な誤差逆伝播法（backpropagation through time）を適用し、各パースステップにおける予測アクションの損失を計算する。
• 単語埋め込みを統合し、各時刻における完全なパーサー状態の連続的ベクトル表現を学習する。
• 入力全体を再処理せずに段階的に状態表現を構築することで、効率的かつ線形時間のパースを実現する。

実験結果

リサーチクエスチョン

• RQ1 スタック操作をサポートするニューラルネットワークアーキテクチャは、局所的状態表現よりも、完全なパーサー状態をより効果的にモデル化できるか？
• RQ2 入力バッファ、スタック、およびアクション履歴を完全に捉えることで、遷移ベースの依存構文解析におけるパース精度が向上するか？
• RQ3 プッシュ・ポップ操作を備えた微分可能な再帰的アーキテクチャは、グローバル依存関係をモデル化しつつも、線形時間計算量を維持できるか？
• RQ4 提案されたスタックLSTMは、既存のニューラル遷移ベースパーサーと比較して、性能および一般化能力において優れているか？
• RQ5 連続的スタック埋め込みは、英語や中国語のような多様な言語において、パースのロバストネスをどの程度向上できるか？

主な発見

• 提案されたスタックLSTMモデルは、英語および中国語の依存構文解析データセットで最先端の性能を達成した。
• 局所的文脈のみに依存する従来の手法と比較して、長距離依存関係およびグローバル状態情報の捉え方がより効果的であった。
• 木断片の合成に再帰的ニューラルネットワークを用いることで、部分的パースツリーにおける構文構造の正確なモデリングが可能になった。
• 誤差逆伝播によるエンドツーエンド学習により、手動の特徴工学を伴わず高品質な表現が得られた。
• 完全なパーサー状態をモデル化しても、パースおよび学習の時間計算量が線形のまま維持された。
• スタック拡張LSTMが、シーケンス・ツー・シーケンスのパースタスクにおいて強力で微分可能な制御構造として機能できることを示した。