[論文レビュー] Top-down Tree Long Short-Term Memory Networks

Xingxing Zhang, Liang Lu+1 more|arXiv (Cornell University)|Oct 31, 2015

Topic Modeling参考文献 59被引用数 11

ひとこと要約

この論文は、左側および右側の従属語を4つの特殊なLSTMユニットで明示的に表現することで、文の依存木構造をモデル化するためのニューラルネットワークアーキテクチャ、TreeLSTMおよびLdTreeLSTMを提案する。このモデルは、MSR文完成ベンチマークで最先端の性能を達成し、依存構文解析の再ランク付け能力も強く示しており、サンプリングによるエンドツーエンドの木生成も可能である。

ABSTRACT

Long Short-Term Memory (LSTM) networks, a type of recurrent neural network with a more complex computational unit, have been successfully applied to a variety of sequence modeling tasks. In this paper we develop Tree Long Short-Term Memory (TreeLSTM), a neural network model based on LSTM, which is designed to predict a tree rather than a linear sequence. TreeLSTM defines the probability of a sentence by estimating the generation probability of its dependency tree. At each time step, a node is generated based on the representation of the generated sub-tree. We further enhance the modeling power of TreeLSTM by explicitly representing the correlations between left and right dependents. Application of our model to the MSR sentence completion challenge achieves results beyond the current state of the art. We also report results on dependency parsing reranking achieving competitive performance.

研究の動機と目的

• 線形シーケンスではなく、依存木の生成を推定することで文の確率を予測するニューラルネットワークモデルの開発。
• 特殊なLSTMユニットを用いて構文構造における左従属語と右従属語の相関関係を明示的にモデル化すること。
• 学習済みモデルからのサンプリングによりエンドツーエンドの木生成を可能とし、文の簡略化などの応用を支援すること。
• n-gramモデルやフィードフォワードモデルの制限を克服し、人工的な深さ制限なしに長距離依存関係を捉えること。
• 依存特徴の手動特徴工学を避けるために、構文構造をモデルアーキテクチャそのものに直接統合すること。

提案手法

• 4種類の依存エッジ（左、右、非語彙的左、非語彙的右）を表現する4つの異なるLSTMユニットを用い、構造的な木生成を可能にする。
• 各時刻で、すでに生成された部分木の隠れ表現に基づいて次の単語を予測するための1つのLSTMが活性化される。
• 4つのLSTMからの隠れ状態を共有することで、異なるエッジタイプ間で一貫した部分木表現を維持する。
• 条件付き確率をエッジタイプと単語予測の上に因数分解することで、依存木生成プロセスの確率を推定する。
• 木生成は、4つの二値分類器（Add-Left, Add-Right, Add-Nx-Left, Add-Nx-Right）を用いて、各ステップでどのエッジタイプを追加するかを決定することで実行される。
• 分類器は、以前の隠れ状態と現在のノードの埋め込みを用いて、新しい左または右従属語を追加するかどうかを予測し、制御された木の成長を可能にする。

実験結果

リサーチクエスチョン

• RQ1 LSTMに基づくニューラルネットワークアーキテクチャは、線形シーケンスの代わりに構文的依存木を効果的にモデル化・生成できるか？
• RQ2 左および右従属語の相関関係を明示的にモデル化することで、言語モデリングおよび構文解析タスクの性能がどのように向上するか？
• RQ3 構造的な木生成を活用することで、文完成タスクで最先端の結果を達成できるか？
• RQ4 従来のニューラルパーサーと比較して、このモデルは依存構文解析出力の再ランク付けにどの程度有効に使用できるか？
• RQ5 このモデルはサンプリングにより一貫性があり文法的に正しい依存木を生成できるか？テキスト生成応用（例：文の圧縮・簡略化）に有効か？

主な発見

• LdTreeLSTMは、MSR文完成チャレンジで最先端の性能を達成し、以前に発表された結果を上回った。
• 依存構文解析の再ランク付けにおいて、LdTreeLSTMはMSTParserベースラインを上回り、S-LSTMおよびNNパーサーと同等の性能に近づいた。
• Add-Left分類器では94.3%、Add-Rightでは92.6%、Add-Nx-Leftでは93.4%、Add-Nx-Rightでは96.0%の精度を達成し、優れたエッジ予測能力を示した。
• 事前学習済みGLOVE埋め込みを用いることでTreeLSTMよりもわずかに性能が向上したが、LdTreeLSTMを上回ることはできず、後者のアーキテクチャがより効果的であることを示唆した。
• LdTreeLSTMはPTBテストセットでUAS 88.7%、LAS 85.6%を達成し、MSTParserを上回り、依存構文解析における優れた一般化性能を示した。
• モデルは一貫性があり文法的に正しい依存木を効果的に生成でき、文の圧縮や簡略化などのテキスト生成応用への潜在的応用可能性を示した。