[論文レビュー] Bidirectional Tree-Structured LSTM with Head Lexicalization

Zhiyang Teng, Yue Zhang|arXiv (Cornell University)|Nov 21, 2016

Topic Modeling参考文献 30被引用数 27

ひとこと要約

本稿では、頭語語の自動化された語彙化を組み込んだ双方向木構造LSTMを提案し、すべてのノードに頭語語の表現を注入することで構文木のモデリングを強化し、上位からの情報伝達を可能にしている。この手法はスタンフォードセンチメントツリーバンクにおける感情分類の精度を向上させ、最先端の結果を達成しており、特に「非常に否定的」と「非常に肯定的」の各クラスで10%および11%の向上を達成している。

ABSTRACT

Sequential LSTM has been extended to model tree structures, giving competitive results for a number of tasks. Existing methods model constituent trees by bottom-up combinations of constituent nodes, making direct use of input word information only for leaf nodes. This is different from sequential LSTMs, which contain reference to input words for each node. In this paper, we propose a method for automatic head-lexicalization for tree-structure LSTMs, propagating head words from leaf nodes to every constituent node. In addition, enabled by head lexicalization, we build a tree LSTM in the top-down direction, which corresponds to bidirectional sequential LSTM structurally. Experiments show that both extensions give better representations of tree structures. Our final model gives the best results on the Standford Sentiment Treebank and highly competitive results on the TREC question type classification task.

研究の動機と目的

• 木構造LSTMが葉ノードでのみ入力語を使用するという制限を解消し、非葉ノードの構文的成分に対して語彙的入力を欠落させることを防ぐ。
• 各ノードに頭語語の情報を注入することで、木構造LSTMの表現を向上させ、構文的および意味的モデリングを強化する。
• 上位からの伝播経路を導入することで、双方向木構造モデリングを可能にし、双方向RNNに類似した仕組みを実現する。
• 規則ベースの言語的依存関係を避ける、神経的で形式に依存しない頭語語彙化手法を開発する。
• 感情分類および構文解析のタスクにおいてモデルを評価し、一方向木LSTMおよび双方向逐次LSTMベースラインと比較して優れた性能を示す。

提案手法

• 下位からの計算を拡張した木構造LSTMを提案し、各ノードの入力にその構文的成分の頭語語を含める頭語語彙化を導入する。
• 規則ベースの頭語抽出に依存しないように、ニューラルアテンション機構を用いて各成分ノードの頭語語を自動で学習する。
• 根から葉へと情報を伝播させる上位からの木LSTMの変種を導入し、標準的な下位からの流れを補完する。
• 下位からのおよび上位からの木LSTMの状態を組み合わせて、双方向木構造LSTMを構築し、文脈的な表現を向上させる。
• ノードの合成状態と学習済みの頭語ベクトルを用いて、構文木をランク付けする微分可能なスコア関数を採用する。
• ノードレベルのスコアに対してマージン損失を用いてエンド・トゥ・エンドでモデルを訓練し、木構造と表現の両方を統合最適化可能にする。

実験結果

リサーチクエスチョン

• RQ1 非葉ノードに頭語語の情報を注入することで、木構造LSTMの表現能力が向上するか？
• RQ2 木構造LSTMに上位からの情報伝達を導入することで、長距離依存関係や複雑な意味的合成のモデリングが向上するか？
• RQ3 エンド・トゥ・エンドで学習可能な神経的アプローチによる頭語語彙化は、一般化性能の観点で規則ベースの手法を上回るか？
• RQ4 感情分類および構文解析のタスクにおいて、双方向木LSTMは一方向木LSTMおよび双方向逐次LSTMと比較してどのように性能を発揮するか？
• RQ5 自動で学習された頭語情報は、構文的タスク（例：パーサーリランク付け）にどの程度貢献するか？

主な発見

• 提案された双方向木構造LSTMは、スタンフォードセンチメントツリーバンクで報告された最高の精度を達成し、以前の最先端モデルを上回った。
• ベースラインと比較して、「非常に否定的」クラスでは10%、「非常に肯定的」クラスでは11%の分類精度向上を達成した。
• 30語を超える文では、ベースラインのConTree LSTMと比較して3.5ポイントの精度向上を示し、長距離依存関係の処理において有効であることが示された。
• 自動頭語語彙化機構は、文法的および感情に関連する語の混合を学習しており、意味的タスクに適応可能であることが示された。
• パーサーリランク付けにおいて、F1スコアはベースラインの90.40から90.83に向上し、学習済みの頭語情報が構文的タスクにも利益をもたらすことが確認された。
• 感情分類および構文解析のベンチマークの両方において、双方向木LSTMは一方向木LSTMおよび双方向逐次LSTMの両方を上回る性能を発揮した。