[論文レビュー] Long Short-Term Memory Over Tree Structures

Xiaodan Zhu, Parinaz Sobhani+1 more|arXiv (Cornell University)|Mar 16, 2015

Topic Modeling参考文献 26被引用数 68

ひとこと要約

本稿では、長短記憶（LSTM）の新規拡張としてS-LSTMを提案する。S-LSTMは再帰的記憶メカニズムを木構造データに一般化し、ゲート付き記憶コピーを介して複数の子ノードおよび子孫ノードからの情報を集約する記憶セルを可能にする。このモデルは、階層構造内の長距離依存関係をよりよくモデル化することで、感情分析タスクにおいて最先端の再帰的ニューラルネットワークを著しく上回り、完全なノードアノテーションを用いたスタンフォードセンチメントツリーバンクでは44.1%の精度を達成した。

ABSTRACT

The chain-structured long short-term memory (LSTM) has showed to be effective in a wide range of problems such as speech recognition and machine translation. In this paper, we propose to extend it to tree structures, in which a memory cell can reflect the history memories of multiple child cells or multiple descendant cells in a recursive process. We call the model S-LSTM, which provides a principled way of considering long-distance interaction over hierarchies, e.g., language or image parse structures. We leverage the models for semantic composition to understand the meaning of text, a fundamental problem in natural language understanding, and show that it outperforms a state-of-the-art recursive model by replacing its composition layers with the S-LSTM memory blocks. We also show that utilizing the given structures is helpful in achieving a performance better than that without considering the structures.

研究の動機と目的

• 自然言語やビジョンで一般的な階層的・非線形構造を効果的にモデル化できないチェーン構造LSTMの制限を解消すること。
• LSTMアーキテクチャを木構造の再帰的ネットワークに拡張し、文法的および意味的階層における長距離依存関係をよりよく捉えること。
• 線形チェーンによる暗黙的な構造学習と比較して、明示的な構造情報が意味的合成タスクのパフォーマンスに与える影響を実証的に評価すること。
• S-LSTMが、その構成層を学習可能でゲート付きのメモリブロックに置き換えることで、最先端の再帰的ニューラルネットワークを上回ることを示すこと。

提案手法

• 各ノードのメモリセルが、学習可能なゲートを用いて複数の子ノードからのメモリベクトルを集約する木構造のLSTM変種、S-LSTMを提案する。
• 子ノードからの複数の入力メモリベクトルをサポートするように、標準のLSTMセル式を拡張し、各子ノードごとに別々の入力、忘却、出力ゲートを設ける。
• 再帰的下位から上位の計算を採用：各内部ノードについて、隠れ状態およびセル状態は子ノードの状態の重み付き組み合わせに基づいて計算され、階層的メモリ伝搬が可能になる。
• 木構造を介した誤差逆伝播を用いて、モデルをエンドツーエンドで学習する。勾配は木のトポロジーに沿って計算される。
• 最先端の再帰的ニューラルネットワークにおけるテンソル強化構成層を、S-LSTMメモリブロックに置き換えることで、直接的な比較を可能にする。
• 訓練および評価にルートレベルおよび全ノードアノテーションを用いて、スタンフォードセンチメントツリーバンク上でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースのアーキテクチャは、標準の再帰的ニューラルネットワークと比較して、階層的依存関係をより効果的にモデル化できるように、木構造データに拡張可能か？
• RQ2 明示的に木構造をモデル化することで、線形チェーンによる暗黙的構造学習と比較して、意味的合成タスクのパフォーマンスが向上するか？
• RQ3 S-LSTMは、従来の再帰的ネットワークと比較して、深さのある階層構造における消失勾配問題をどの程度緩和できるか？
• RQ4 構文木内の異なる深さおよびフレーズ長さにおいて、S-LSTMのパフォーマンスはどのように変化するか？

主な発見

• S-LSTMは、ルートおよびリーフノードの両方のアノテーションを用いた場合、スタンフォードセンチメントツリーバンクで44.1%の精度を達成し、以前の最先端の再帰的モデルを上回った。
• モデルは解析木の深いレベルで顕著にパフォーマンスが向上し、長いフレーズにおける複雑な構文的および意味的構造のモデル化が優れていることを示した。
• 構造的情報が提供されない場合でさえ、左再帰的または右再帰的S-LSTMバージョンはそれぞれ40.2%および40.3%の精度にとどまり（ルートラベルのみ使用）、明示的な構造が最適パフォーマンスを発揮するために不可欠であることを示した。
• S-LSTMと非構造的バージョンのパフォーマンス差は、ルートラベルのみを使用する場合に最も顕著であり、これは監視情報が限られる状況で構造的事前知識が特に価値があることを示している。
• S-LSTMは、木のすべての深さおよび長さレベルで、すべてのベースラインを一貫して上回った。これは、S-LSTMが階層的表現における長距離依存関係を効果的にモデル化できることを確認した。
• 結果は、構文解析構造を明示的に利用することで、線形チェーンRNNが暗黙的に構造を捉えるのと比較して、より優れた意味的表現が得られることを実証的根拠として示した。