[論文レビュー] Tree Recurrent Neural Networks with Application to Language Modeling.

Xingxing Zhang, Liang Lu+1 more|arXiv (Cornell University)|Oct 31, 2015

Natural Language Processing Techniques参考文献 40被引用数 16

ひとこと要約

この論文では、線形的なシーケンスではなく従属木を予測することで文をモデル化する、新しい再帰的ニューラルネットワークであるTreeRNNを紹介する。共有された隠れ状態を用いて左側および右側の従属語を段階的に生成することで、従来のモデルと比較して改善された、あるいは同等の性能を達成する言語モデル化タスクを実現する。

ABSTRACT

In this paper we develop a recurrent neural network (TreeRNN), which is designed to predict a tree rather than a linear sequence as is the case in conventional recurrent neural networks. Our model defines the probability of a sentence by estimating the generation probability of its dependency tree. We construct the tree incrementally by generating the left and right dependents of a node whose probability is computed using recurrent neural networks with shared hidden layers. Application of our model to two language modeling tasks shows that it outperforms or performs on par with related models.

研究の動機と目的

• 従属木の生成によって文の構文的構造を捉えることで、線形的なシーケンスではなく、シーケンスモデルフレームワークの開発。
• 共有された隠れ状態を用いた再帰的な木の生成によって、文の構造をモデル化し、言語モデル化を改善すること。
• 木構造の生成が言語モデル化ベンチマークでより良いパフォーマンスをもたらすかどうかを評価すること。
• 自然言語処理における構造的予測に再帰的ニューラルネットワークを活用することの探求。

提案手法

• TreeRNNは、各ノードの左および右の従属語を段階的に生成することで、文の従属木を構築する。
• モデルは、各ノードの従属語の確率を計算するために、共有された再帰的ニューラルネットワークと共有された隠れ層を使用する。
• 生成は、ルートから始まり、部分木を拡張する下向きの再帰的かつ順次的な方法で行われる。
• 文の確率は、木構造内のノード拡張の条件付き確率の積として計算される。
• モデルは従属木の階層的構造を活用することで、線形的なRNNよりも長距離依存関係をより効果的に捉える。

実験結果

リサーチクエスチョン

• RQ1 従属木の生成による文のモデル化は、線形的シーケンスモデル化と比較して、言語モデル化のパフォーマンスを向上させるか？
• RQ2 木のノード間で共有された隠れ状態を使用することで、木構造のRNNにおける一般化性と効率性が向上するか？
• RQ3 言語モデル化タスクにおけるパープレクサリティの観点から、TreeRNNは既存のシーケンスモデル化アプローチと比較してどうなるか？
• RQ4 木構造の生成は、自然言語における構文的依存関係をどの程度効果的に捉えられるか？

主な発見

• TreeRNNは2つの言語モデル化タスクにおいて、関連するモデルと同等またはそれ以上の性能を発揮した。
• 構造的な木の生成を活用することで、競争力のあるパープレクサリティスコアを達成した。
• 共有された隠れ層の使用により、木のノード間での効率的なパラメータ共有が可能になった。
• 再帰的ネットワークを用いた段階的な木の構築により、階層的な構文的構造の効果的なモデル化が実現した。