[論文レビュー] Recurrent Memory Array Structures

Kamil Rocki|arXiv (Cornell University)|Jul 11, 2016

Topic Modeling参考文献 14被引用数 5

ひとこと要約

この論文は、標準LSTMユニット内の単一の記憶セルを、各隠れユニットごとに複数の記憶セルに置き換えることで、一般化性能と系列モデリング性能を向上させる、新しい再帰的ニューラルネットワークアーキテクチャであるArray-LSTMを提案する。決定論的および確率的変種を導入することで、文字レベルの言語モデリングにおいて最先端の性能を達成し、enwik8データセットで1.402ビット/文字（BPC）を記録し、enwik9およびenwik10ではそれぞれ1.12 BPCおよび1.19 BPCという、新しいニューラルベースラインを確立した。

ABSTRACT

The following report introduces ideas augmenting standard Long Short Term Memory (LSTM) architecture with multiple memory cells per hidden unit in order to improve its generalization capabilities. It considers both deterministic and stochastic variants of memory operation. It is shown that the nondeterministic Array-LSTM approach improves state-of-the-art performance on character level text prediction achieving 1.402 BPC on enwik8 dataset. Furthermore, this report estabilishes baseline neural-based results of 1.12 BPC and 1.19 BPC for enwik9 and enwik10 datasets respectively.

研究の動機と目的

• 標準LSTMネットワークの一般化能力を向上させるために、各隠れユニットごとに複数の記憶セルを導入すること。
• 学習効率とロバストネスを向上させるために、記憶操作の決定論的および確率的変種を検討すること。
• 大規模なWikipediaテキストコーパス（enwik9およびenwik10）における文字レベルの言語モデリングのための新しいニューラルネットワークベースラインを確立すること。
• 小脳皮質の構造からインスピレーションを得て、1つの隠れユニット内での交換可能なサブステートのプーリングを可能にする記憶構造を設計すること。
• 明示的なメモリアレイ構造が、標準RNNやスタックドLSTMと比較して、系列データ内の長距離依存関係や重複パターンをより効果的に捉えることができるかどうかを調査すること。

提案手法

• 各隠れユニットが複数の記憶セル（c_k^t）を保持するArray-LSTMアーキテクチャを提案し、各セルに独自の入力ゲート（i_k^t）、フォーゲットゲート（f_k^t）、出力ゲート（o_k^t）を備える。
• 標準LSTM式を各記憶セルごとに独立して適用し、各セルのコンテンツは c_k^t = f_k^t ⊙ c_k^{t-1} + i_k^t ⊙ ~c_k^t によって更新される。
• 訓練中に記憶セルの選択をランダム化する確率的変種を導入し、一般化を向上させるためにドロップアウト機構に類似したメカニズムを採用する。
• すべての記憶セルの出力を合算することで、h^t = Σ_k (o_k^t ⊙ tanh(c_k^t)) とし、複数の記憶セル間で共有された隠れ状態表現を実現する。
• 各ゲートとセルの組み合わせに対して、学習可能な重み行列（W, U）とバイアス（b）を用いたモジュレート接続を採用する。
• 複数の並列記憶ルーラーを持つ小脳皮質のアレイ構造からアーキテクチャ的インスピレーションを得ており、類似または交換可能なコンテンツの柔軟なプール表現を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 LSTMの単一記憶セルを、各隠れユニットごとに複数の記憶セルに置き換えることで、系列モデリングタスクにおける一般化性能が向上するか？
• RQ2 ドロップアウトに類似したメカニズムにより記憶セル選択に確率的要因を導入することで、文字レベルのテキスト予測におけるモデルのロバストネスと一般化性能が向上するか？
• RQ3 アレイ構造を持つメモリが、標準LSTMやスタックドLSTMと比較して、長距離依存関係タスクにおける性能をどの程度向上できるか？
• RQ4 提案されたアーキテクチャが、enwik8、enwik9、enwik10といった標準的な言語モデリングベンチマークで最先端の結果を達成できるか？
• RQ5 1つの隠れユニット内での複数記憶セルのプール化は、階層的スタックされた層と比較して、学習効率および表現能力の面で優れているか？

主な発見

• 非決定的Array-LSTM変種は、enwik8データセットで1.402ビット/文字（BPC）という、新しい最先端の結果を達成し、以前のモデルを上回った。
• 決定的Array-LSTMは、enwik9データセットで1.12 BPCという新しいニューラルベースラインを確立し、圧縮および予測性能の向上を示した。
• enwik10データセットでは1.19 BPCというニューラルベースラインを達成し、より複雑なテキスト系列においても優れた一般化性能を示した。
• 1つの隠れユニットに複数の記憶セルを導入することで、交換可能なまたは類似した文脈的パターンの表現が向上し、CNNの空間プールと類似した内部プール機構を効果的に形成した。
• Array-LSTMの確率的変種は、記憶セル活性化における制御されたランダム性を導入することで一般化性能を向上させ、ドロップアウトを模倣し過学習を低減した。
• アーキテクチャ的革新として、層の深さではなく、記憶容量の拡張によって1層内で性能を向上させられることが示された。