[論文レビュー] A Simple LSTM model for Transition-based Dependency Parsing

Mohab Elkaref, Bernd Bohnet|arXiv (Cornell University)|Aug 29, 2017

Topic Modeling参考文献 20被引用数 8

ひとこと要約

この論文は、標準的なフィードフォワード隠れ層を1層のLSTM層に置き換えることで、単純なLSTMベースの遷移ベースの依存構文解析器を提示している。事前学習済みフィードフォワードネットワークの重みを用いてLSTMを初期化することで、性能が向上する。この手法はPenn Treebankで93.06%のunlabeled attachment score (UAS) および91.01%のlabeled attachment score (LAS) を達成し、ベースラインモデルを上回り、入力ドロップアウトとゲート別初期化の有効性がLSTM、GRU、Elmanネットワークの各アーキテクチャに共通して示された。

ABSTRACT

We present a simple LSTM-based transition-based dependency parser. Our model is composed of a single LSTM hidden layer replacing the hidden layer in the usual feed-forward network architecture. We also propose a new initialization method that uses the pre-trained weights from a feed-forward neural network to initialize our LSTM-based model. We also show that using dropout on the input layer has a positive effect on performance. Our final parser achieves a 93.06% unlabeled and 91.01% labeled attachment score on the Penn Treebank. We additionally replace LSTMs with GRUs and Elman units in our model and explore the effectiveness of our initialization method on individual gates constituting all three types of RNN units.

研究の動機と目的

• 標準的なフィードフォワード隠れ層を1層のLSTM層に置き換えることで、遷移ベースの依存構文解析の性能を向上させること。
• 事前学習済みフィードフォワードネットワークの重みを用いてLSTMを初期化することで、解析精度が向上するかを調査すること。
• 入力ドロップアウトがモデルの汎化性能と性能に与える影響を評価すること。
• 提案された初期化手法がLSTMおよびGRUの個々のゲートに対してどの程度効果的かを評価すること。
• 同じ初期化およびトレーニングプロトコルを用いて、LSTM、GRU、Elmanネットワークの性能を比較すること。

提案手法

• 遷移ベースの解析におけるフィードフォワード隠れ層を1層のLSTMに置き換え、解析遷移にわたる順序的依存関係をモデル化すること。
• 同じタスクで事前学習されたフィードフォワードニューラルネットワーク（FFN）のパラメータを用いてLSTMの重みを初期化することで、収束が速くなり、精度が向上することを実現すること。
• 入力層の特徴にドロップアウトを適用してモデルを正則化し、過学習を軽減すること。
• バックプロパゲーションを用いてエンドツーエンドでLSTMモデルをトレーニングし、スタック、バッファ、アーキ構造を含むアーキスタンダード遷移システムを解析器の構成として使用すること。
• LSTMをGRUやElmanネットワークに置き換えて、初期化手法の一般性を評価すること。
• 個々のLSTMゲート（入力、忘れ、出力、候補）を別々に初期化することでアブレーションスタディを実施し、性能への寄与度を評価すること。

実験結果

リサーチクエスチョン

• RQ1 フィードフォワード隠れ層を1層のLSTM層に置き換えることで、遷移ベースの依存構文解析の性能が向上するか？
• RQ2 事前学習済みフィードフォワードネットワークの重みを用いてLSTMを初期化することで、依存構文解析の精度が顕著に向上するか？
• RQ3 入力ドロップアウトは、LSTMベースの解析器の汎化性能と性能向上にどの程度効果的か？
• RQ4 提案された初期化手法は、GRU や Elman ネットワークなどの異なるRNNユニットに対しても一貫した改善をもたらすか？
• RQ5 LSTMの個々のゲート（入力、忘れ、出力、候補）の中で、提案された初期化技術が最も効果を発揮するのはどれか？

主な発見

• 提案されたLSTMベースの解析器は、Penn Treebankのテストセットで93.06%のunlabeled attachment score (UAS) および91.01%のlabeled attachment score (LAS) を達成し、ベースラインのFFNモデルおよびランダム初期化されたLSTMモデルを上回った。
• 事前学習済みFFN初期化はLSTM性能を顕著に向上させ、最終モデルは大多数の最先端のLSTMベース解析器を上回るか同等の性能を示した。
• 入力ドロップアウトは一貫してモデル性能を向上させ、このアーキテクチャにおいて正則化手法としての価値があることを示した。
• LSTMゲートを個別に初期化すると結果はまちまちであったが、特に出力ゲートと候補ゲートが最も一貫した改善を示した。特に事前学習済み埋め込みを用いた場合に顕著であった。
• 初期化手法はLSTMおよびElmanネットワークに対し有効であったが、GRUに対してはやや劣り、全ゲートを事前学習済み埋め込みで初期化すると顕著な性能低下を示した。
• GRUベースのモデルですら、初期化された重みを用いても、ベースラインのフィードフォワードネットワークの性能を上回ることはできず、この解析タスクにおいてはその能力に限界があることが示唆された。