[論文レビュー] Incremental Parsing with Minimal Features Using Bi-Directional LSTM

James Cross, Liang Huang|arXiv (Cornell University)|Jun 21, 2016

Natural Language Processing Techniques参考文献 16被引用数 8

ひとこと要約

この論文では、文の文脈をモデル化するための双方向LSTMを用いた最小特徴パーサーフレームワークを提案する。3つの位置特徴のみを用いても、従来の手作業による特徴工学を必要とせず、英語および中国語のデータセットにおいて、グリーディパーサーの中で最先端の結果を達成している。特に長距離依存関係の処理において優れた性能を発揮し、広範な手作業による特徴設計に依存しない。

ABSTRACT

Recently, neural network approaches for parsing have largely automated the combination of individual features, but still rely on (often a larger number of) atomic features created from human linguistic intuition, and potentially omitting important global context. To further reduce feature engineering to the bare minimum, we use bi-directional LSTM sentence representations to model a parser state with only three sentence positions, which automatically identifies important aspects of the entire sentence. This model achieves state-of-the-art results among greedy dependency parsers for English. We also introduce a novel transition system for constituency parsing which does not require binarization, and together with the above architecture, achieves state-of-the-art results among greedy parsers for both English and Chinese.

研究の動機と目的

• 複雑な特徴工学を学習された文の表現に置き換えることで、依存構文解析および構文解析を人為的に設計された特徴の最小限のものに還元すること。
• 双方向LSTMによる符号化で文全体の文脈を捉えることで、特に長距離依存関係の解析精度を向上させること。
• 二分木化を回避し、効率的な段階的パーサーを可能にする、新しい遷移システムを構築すること。
• 単純でエンドツーエンドの学習された表現が、広範な言語的特徴に依存するシステムと同等またはそれ以上の性能を発揮できることを示すこと。
• 言語やパーサーの種別（依存構文解析および構文解析）に一般化可能な、統一的で最小特徴のアーキテクチャを確立すること。

提案手法

• モデルは各単語を双方向LSTMで符号化し、入力ベクトルは単語埋め込みと品詞タグ埋め込みを組み合わせる。
• 位置特徴表現は、各単語位置における前方および後方LSTMの隠れ状態を連結することで得られる。
• 2層の双方向LSTMアーキテクチャを採用し、1層目の出力が2層目に入力され、文の高次の相互作用を捉える。
• 依存構文解析では、グリーディなシフトリダクス遷移システムを用い、パーサーの意思決定はスタックおよびキューの直近3つの位置に基づく。
• 構文解析では、新しいシフトプロモートアドニ遷移システムを導入し、二分木化を回避しつつ非二分木構造を可能にする。
• モデルは3つの位置特徴（s1, s0, q0）と非終端記号の埋め込みのみを用い、文脈情報はすべて双方向LSTM表現によって捉える。

実験結果

リサーチクエスチョン

• RQ1 3つの位置特徴と手作業による言語的特徴の一切なしに、パーサーが最先端の性能を達成できるか？
• RQ2 局所的特徴に依存するモデルと比較して、双方向LSTM表現が長距離依存関係の弧の処理において性能向上をもたらすか？
• RQ3 構文解析のための新しい遷移システムは、二分木化を回避しつつ、グリーディパーサー設定でも高い精度を維持できるか？
• RQ4 双方向LSTMによる文全体の文脈を組み込むことで、局所的なパーサーエラーに対するロバストネスは向上するか？
• RQ5 最小特徴セットに加え、深層的な文脈表現を組み合わせることで、広範な特徴工学に依存するシステムと同等またはそれ以上の性能を達成できるか？

主な発見

• 提案されたBi-LSTMモデルは、Penn Treebankの開発セットでUAS 93.67、LAS 91.48を達成し、英語におけるすべての先行グリーディ依存構文解析器を上回った。
• Penn Chinese Treebankでは、UAS 86.35、LAS 85.71を達成し、中国語における最高のグリーディパーサーと同等またはそれを上回った。
• 長距離依存関係（長さ > 6）において顕著に優れた性能を発揮し、最小限の精度低下で、グローバル文脈モデリングの利点を裏付けた。
• アブレーションスタディの結果、前方および後方の文脈、および品詞埋め込みが高性能を達成するために不可欠であることが判明し、いずれのコンponentを削除しても顕著な精度低下が生じた。
• 2層のBi-LSTMアーキテクチャは、単層バージョンを常に上回り、より深い双方向LSTM表現がより有用な構造的パターンを捉えられることを示した。
• 新規のシフトプロモートアドニ遷移システムにより、二分木化なしに高精度なグリーディ構文解析が可能となり、英語では89.95 F1、中国語では80.13 F1を達成し、比較対象のグリーディパーサーの中で最高のF1スコアを記録した。