[論文レビュー] Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks

Yikang Shen, Shawn Tan+2 more|arXiv (Cornell University)|Oct 22, 2018

Natural Language Processing Techniques参考文献 62被引用数 80

ひとこと要約

本論文は ON-LSTM を提案する。これは cumax ベースの構造的ゲートを用いてニューロンを時間スケールの異なる情報を符号化するようにバイアス付けし、暗黙的な木構造の組成を可能にし、言語モデリング、パース、および推論タスクの性能を向上させる。

ABSTRACT

Natural language is hierarchically structured: smaller units (e.g., phrases) are nested within larger units (e.g., clauses). When a larger constituent ends, all of the smaller constituents that are nested within it must also be closed. While the standard LSTM architecture allows different neurons to track information at different time scales, it does not have an explicit bias towards modeling a hierarchy of constituents. This paper proposes to add such an inductive bias by ordering the neurons; a vector of master input and forget gates ensures that when a given neuron is updated, all the neurons that follow it in the ordering are also updated. Our novel recurrent architecture, ordered neurons LSTM (ON-LSTM), achieves good performance on four different tasks: language modeling, unsupervised parsing, targeted syntactic evaluation, and logical inference.

研究の動機と目的

• 言語における階層的で木のような構造を動機づけ、標準的な LSTM が長距離依存を捉える際の限界に対処する。
• ordered neurons と cumax ベースのゲーティングを通じてニューロンの時間スケールを区別する帰納的バイアスを開発する。
• 構成要素のような階層を反映するよう更新をバイアス付けする ON-LSTM ユニットを構築する。
• 言語モデリング、教師なしパース、対象となる統語評価、そして論理推論における ON-LSTM を評価する。
• 誘導された潜在構造が言語的構成素と一致し、一般化性能を改善することを示す。

提案手法

• cumax() 活性化関数（累積ソフトマックス）を導入し、ニューロン間の順序を生み出す単調ゲートベクトルを作る。
• cumax によってマスター forget および input ゲートを定義し、ニューロンの全ブロックをゲートして階層的な更新ダイナミクスを可能にする。
• マスターゲートと標準の LSTM ゲートを組み合わせて c_t および h_t の更新を生成する更新則を導出する（式 (11)-(14)）。
• パラメータ削減のため、ニューロンをチャンクに分けてマスターゲートのサイズを縮小する。
• 言語モデリングで三層の ON-LSTM を訓練し、パース、統語評価、および論理推論における性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 更新頻度でニューロンを並べ替える帰納的バイアスは、RNN に潜在的な木構造的構成を生み出すか？
• RQ2 同等の容量を持つ標準 LSTM と比較して、ON-LSTM は言語モデリングのパープレキシティを改善しますか？
• RQ3 ON-LSTM は人間の注釈と一致する教師なしの構成素解析を誘導できるか？
• RQ4 階層的な更新は対象となる統語評価および論理推論タスクに有益か？
• RQ5 ON-LSTM は長いシーケンスや長距離依存にどの程度一般化するか？

主な発見

• ON-LSTM は Penn Treebank の言語モデリングで、同等容量の標準 LSTM よりもパープレキシティが良い。
• ON-LSTM の第2層は WSJ テストデータにおいて教師なしの構成素解析で最先端を達成した。
• ON-LSTM は長期依存性テストにおいて、対象となる統語評価および論理推論タスクで性能が向上し、特に長いシーケンスで顕著である。
• 本モデルは、従来の構造認識アプローチよりも長いシーケンスに対する一般化能力が強い。
• ON-LSTM によって推定された潜在木は、ADJP、NP、PP など言語的に妥当な構成素に対応し、人間の構文と整合していることを示している。