[論文レビュー] Nested LSTMs.

Joel Ruben Antony Moniz, David Krueger|arXiv (Cornell University)|Jan 31, 2018

Natural Language Processing Techniques参考文献 25被引用数 12

ひとこと要約

この論文は、LSTMセルを互いにネストすることで、より深い記憶階層を形成する深層再帰的アーキテクチャであるネストドLSTM（NLSTM）を導入する。外側の記憶セルの値は、内側のLSTMの隠れ状態から得られる。NLSTMは、パラメータ数が同程度の単層LSTMおよびスタックドLSTMよりも、文字レベルの言語モデル作成タスクで優れた性能を示し、内側の記憶セルはより長い期間の依存関係を捉える能力が優れている。

ABSTRACT

We propose Nested LSTMs (NLSTM), a novel RNN architecture with multiple levels of memory. Nested LSTMs add depth to LSTMs via nesting as opposed to stacking. The value of a memory cell in an NLSTM is computed by an LSTM cell, which has its own inner memory cell. Specifically, instead of computing the value of the (outer) memory cell as $c^{outer}_t = f_t \odot c_{t-1} + i_t \odot g_t$, NLSTM memory cells use the concatenation $(f_t \odot c_{t-1}, i_t \odot g_t)$ as input to an inner LSTM (or NLSTM) memory cell, and set $c^{outer}_t$ = $h^{inner}_t$. Nested LSTMs outperform both stacked and single-layer LSTMs with similar numbers of parameters in our experiments on various character-level language modeling tasks, and the inner memories of an LSTM learn longer term dependencies compared with the higher-level units of a stacked LSTM.

研究の動機と目的

• スタックドLSTMが長期依存関係を捉える能力に限界を示すのを是正するため、より深い記憶階層を導入すること。
• モデルの複雑さを著しく増加させることなく、再帰的ネットワークにおける系列モデル化の性能を向上させること。
• スタックドLSTMの代わりに、階層的でネストされた記憶構造を導入することで、代替的なアプローチを検討すること。

提案手法

• 外側の記憶セルの値は、入力ゲートとフォーグットゲートの出力を直接用いるのではなく、それらの出力の連結を内側のLSTMセルに供給することで計算される。
• 内側のLSTMは、連結されたベクトル（f_t ⊙ c_{t-1}, i_t ⊙ g_t）を処理し、その隠れ状態 h^{inner}_t を出力する。
• 外側の記憶セル c^{outer}_t は h^{inner}_t に等しく設定され、結果的に外側セルの記憶は内側LSTMの隠れ状態の関数となる。
• このネスト構造により、内側セルが外側レイヤーとは独立して長期依存関係を学習できる、より深い記憶の抽象化が可能になる。
• 標準LSTMおよびスタックドLSTMと同等のパラメータ数を維持しており、公平な比較が可能である。
• 記憶階層の有効性を評価するために、モデルはエンドツーエンドで文字レベルの言語モデル作成タスクに訓練される。

実験結果

リサーチクエスチョン

• RQ1 スタックドLSTMや単層LSTMと比較して、ネストドLSTMアーキテクチャは長期依存関係の学習を改善できるか？
• RQ2 NLSTMの階層的記憶構造は、系列モデル化タスクの性能にどのように影響を与えるか？
• RQ3 NLSTMの内側記憶セルは、スタックドLSTMの上位レベルユニットよりも、より長い期間の依存関係を学習できるか？
• RQ4 パラメータ数が同程度の標準LSTMおよびスタックドLSTMと比較して、NLSTMの性能向上はどの程度か？
• RQ5 ネスト構造は、再帰的ネットワークにおける記憶の有効な利用をもたらすか？

主な発見

• パラメータ数が同程度の単層LSTMおよびスタックドLSTMと比較して、NLSTMは文字レベルの言語モデル作成タスクで優れた性能を示す。
• NLSTMの内側記憶セルは、スタックドLSTMの上位レベルユニットよりも、より効果的に長期依存関係を学習している。
• ネスト構造により、モデルの複雑さを増さずに、より深い記憶の抽象化が可能である。
• 性能向上は、内側LSTMセルによる記憶状態の階層的処理に起因する。
• 改善された記憶階層と長期記憶保持能力のおかげで、より優れた言語モデル作成の結果が得られている。