[論文レビュー] Inferring Algorithmic Patterns with Stack-Augmented Recurrent Nets

Armand Joulin, Tomáš Mikolov|arXiv (Cornell University)|Mar 3, 2015

Neural Networks and Applications参考文献 33被引用数 175

ひとこと要約

この論文は、カウンティングや構造的記憶を必要とするアルゴリズム的パターンを学習するために、トレーニング可能で微分可能なスタックメモリを備えた標準RNNを拡張したスタックRNN（Stack RNNs）を提案する。乗法的ゲーティングを用いてスタック操作（プッシュ/ポップ）を制御することで、学習分布を超える長いシーケンスに対しても一般化でき、バランスの取れた括弧列や2進加算などのタスクで標準RNNやLSTMを上回る性能を発揮する。

ABSTRACT

Despite the recent achievements in machine learning, we are still very far from achieving real artificial intelligence. In this paper, we discuss the limitations of standard deep learning approaches and show that some of these limitations can be overcome by learning how to grow the complexity of a model in a structured way. Specifically, we study the simplest sequence prediction problems that are beyond the scope of what is learnable with standard recurrent networks, algorithmically generated sequences which can only be learned by models which have the capacity to count and to memorize sequences. We show that some basic algorithms can be learned from sequential data using a recurrent network associated with a trainable memory.

研究の動機と目的

• カウンティングや長期記憶を要するアルゴリズム的パターンの学習における標準RNNの限界を克服すること。
• 構造的でトレーニング可能なメモリが、訓練時に見なかった長さのシーケンスに対してもRNNが一般化できるかどうかを調査すること。
• 文脈自由および文脈従属のシーケンスの学習におけるスタックおよびリストメモリトポロジーの有効性を調査すること。
• 明示的なメモリ操作の教師信号なしに、微分可能なメモリ機構が複雑なアルゴリズム的行動を学習できるかどうかを示すこと。
• シーケンスモデリングおよび言語モデリングベンチマークにおいて、スタックRNNと標準RNN、LSTM、SRCNの性能を比較すること。

提案手法

• 乗法的ゲーティング機構を用いて、プッシュおよびポップ操作を制御するトレーニング可能で微分可能なスタックメモリを標準RNNに追加する。
• 制約付き再帰的行列演算を定義することで、ネットワークがスタック上の読み取り/書き込み動作を学習できるようにする。
• 各スタックがシーケンスを格納し、記号のプッシュやポップ、キャリーの追跡を可能にするスタックベースのメモリ構造を採用する。
• 単純なアルゴリズム（例：a^n b^n、a^n b^n c^n）によって生成されたシーケンスを用いて、確率的勾配降下法でモデルをエンドツーエンドに訓練する。
• 複数のスタックを備えたアーキテクチャを実装し、異なるスタックが異なる役割を果たすようにする（例：入力を格納、位置を追跡、2進加算におけるキャリーを管理）。
• 訓練時に見なかったシーケンス長（例：最大60文字、訓練時は最大20文字）でテストすることで、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 微分可能でスタック拡張されたRNNは、標準RNNが学習できないようなアルゴリズム的パターン（例：バランスの取れた括弧列）を学習できるか？
• RQ2 スタック拡張RNNは、訓練時に見なかった長さのシーケンスに対して、どの程度一般化できるか？
• RQ3 スタックとリストの異なるメモリトポロジーは、アルゴリズム的シーケンス生成タスクにおける学習パフォーマンスにどのように影響するか？
• RQ4 モデルは、キャリーを伴う2進加算のような複雑な動作を、スタック操作のみでシミュレートできるか？
• RQ5 言語モデリングタスクにおいて、スタックRNNは標準RNN、LSTM、SRCNと比べてどの程度のパフォーマンスを発揮するか？

主な発見

• スタックRNNは、20文字までのシーケンスで訓練された後でも、最大60文字のシーケンスに対し一般化に成功しており、アルゴリズム的一般化に強いインダクティブバイアスを示している。
• モデルは複数のスタックを用いて、異なる役割を果たすように学習している——例として、1つのスタックが最初の数値を格納し、別のスタックが位置を追跡し、3番目のスタックが2進加算におけるキャリーを管理する。
• パーカー・ツリー・バンクの言語モデリングタスクにおいて、スタックRNNは標準RNNとSRCNを上回り、テストパープレキシティ118を達成したが、LSTMやSRCNに比べて性能が劣る。
• モデルは、SRCNと同様に指数的減衰型のバッグオブワーズメモリを模倣するが、微分可能なスタック操作を通じて実現している。
• バランスの取れたシーケンスタスク（例：a^n b^n や a^n b^n c^n）では、未学習の長大なシーケンスに対してもほぼ完璧な性能を発揮し、誤差は最小限に抑えられる。
• 乗法的ゲーティングの使用により、ネットワークはスタック操作に対する効果的な制御を学習でき、明示的なメモリ使用の教師信号なしに、複雑で構造的な計算を実行できるようになった。