[論文レビュー] Learning Operations on a Stack with Neural Turing Machines

Tristan Deleu, Joseph Dureau|arXiv (Cornell University)|Dec 2, 2016

Topic Modeling参考文献 7被引用数 7

ひとこと要約

この論文は、ニューラルチューリングマシン（NTM）が、読み取り・書き込みヘッドを用いてスタックをエミュレートすることで、明示的なスタック操作なしに、バランスの取れた括弧列（Dyck語）を認識できることを示している。NTMは、学習長さの20倍まで長いシーケンスに対しても強力な一般化を達成しており、記憶アドレッシングによるアルゴリズム的学習能力のおかげで、LSTMに比べて長時間シーケンスにおいて顕著な性能を発揮する。

ABSTRACT

Multiple extensions of Recurrent Neural Networks (RNNs) have been proposed recently to address the difficulty of storing information over long time periods. In this paper, we experiment with the capacity of Neural Turing Machines (NTMs) to deal with these long-term dependencies on well-balanced strings of parentheses. We show that not only does the NTM emulate a stack with its heads and learn an algorithm to recognize such words, but it is also capable of strongly generalizing to much longer sequences.

研究の動機と目的

• ニューラルチューリングマシン（NTM）が、Dyck言語のような形式的言語におけるアルゴリズム的計算を学習できるかどうかを調査すること。
• NTMが明示的なスタック操作なしにスタックデータ構造をエミュレートできるかどうかを検討すること。
• モデルが学習分布をはるかに超える長さのシーケンスに対して強力に一般化できるかどうかを評価すること。
• NTMの性能をLSTMと比較し、Dyck言語のメンバーシップ問題において評価すること。
• NTMの記憶とアドレッシングメカニズムがアルゴリズム的推論をどのように支援するかを分析すること。

提案手法

• NTMは、100個の隠れユニットを持つフィードフォワードコントローラー、1つの読み取りヘッド、1つの書き込みヘッド、および128のメモリ場所（各20のサイズ）からなるメモリバンクを備える。
• 読み取りおよび書き込み操作は、コンテンツベースおよび位置ベースのアドレッシングメカニズムによって制御され、メモリ上の重みを微分可能にすることでソフトアテンションを実現する。
• 読み取りヘッドは、アテンション重みを用いてメモリ行の重み付き和を計算する。一方、書き込みヘッドは、コントローラーによって生成されたエラースベクトルとアドドベクトルを用いて、エラー削除と追加の操作を実行する。
• モデルは、Dyck語メンバーシップの二値分類タスクにおいて、固定学習率0.001、バッチサイズ16でAdam最適化アルゴリズムを用いて学習される。
• コントローラーは入力記号（'u' は 'アップ'、'd' は 'ダウン'）を処理し、読み取りヘッドを用いて、メモリ場所のアテンションを通じて現在のスタックの深さを暗黙的に追跡する。
• モデルの挙動は、アテンション重みの可視化と、Dyck語の図的パス表現との比較によって分析される。

実験結果

リサーチクエスチョン

• RQ1 NTMは、スタック操作を明示的に用いずに、記憶とアドレッシングメカニズムのみに依存してDyck語を認識できるか？
• RQ2 シーケンス処理中に、NTMの読み取りヘッドの挙動はスタック操作とどのように関連しているか？
• RQ3 NTMは、学習時に見たシーケンスよりも著しく長いシーケンスに対して、どの程度一般化できるか？
• RQ4 NTMの性能は、Dyck言語における長時間シーケンスにおいて、標準的なLSTMと比べてどうか？
• RQ5 メモリバンクのサイズは、モデルがスタックをエミュレートし、一般化する能力にどのような役割を果たすか？

主な発見

• NTMは、読み取りヘッドを用いて未処理の括弧の深さを追跡することで、スタックを効果的にエミュレートしている。'u' では上向きに、'd' では下向きに移動する。
• モデルは、学習シーケンスの20倍まで長いDyck語（長さ240まで）に対してほぼ完璧な性能を達成しており、強力な一般化を示している。
• NTMのAUCは、学習スケールの20倍まで長さのシーケンスに対して高い水準（1.0に近い）を維持するが、LSTMのAUCは長さ200を超えると著しく低下する。
• NTMは、記憶への書き込みを最小限に抑え、代わりに読み取りヘッドのアテンションパターンを用いてスタック挙動を模倣している。
• NTMの一般化失敗は、n ≈ 120で顕著に現れ、128のメモリ場所の制限によりスタックエミュレーションがメモリオーバーフローに起因する。
• 不一致の閉じ括弧の後でも、非Dyck語を正しく分類できるという事実から、NTMはパターンの記憶ではなくアルゴリズム的解決を学習していることが示されている。