[論文レビュー] Neural Random-Access Machines

Karol Kurach, Marcin Andrychowicz+1 more|arXiv (Cornell University)|Nov 19, 2015

Neural Networks and Applications参考文献 11被引用数 15

ひとこと要約

この論文は、外部の可変サイズのランダムアクセスメモリへのポインタを操作・間接参照する微分可能なニューラルネットワークアーキテクチャ、Neural Random-Access Machine (NRAM) を導入する。バックプロパゲーションにより純粋な入力-出力ペアで訓練された NRAM は、リンクリストやバイナリツリーの操作といったポインタチェイニングを要するアルゴリズム的タスクを学習でき、離散化された状態では定数時間でメモリアクセスが可能であり、より長いシーケンスへの一般化も達成している。

ABSTRACT

In this paper, we propose and investigate a new neural network architecture called Neural Random Access Machine. It can manipulate and dereference pointers to an external variable-size random-access memory. The model is trained from pure input-output examples using backpropagation. We evaluate the new model on a number of simple algorithmic tasks whose solutions require pointer manipulation and dereferencing. Our results show that the proposed model can learn to solve algorithmic tasks of such type and is capable of operating on simple data structures like linked-lists and binary trees. For easier tasks, the learned solutions generalize to sequences of arbitrary length. Moreover, memory access during inference can be done in a constant time under some assumptions.

研究の動機と目的

• 。この論文の目的は、明示的なポインタの操作と間接参照を要するアルゴリズム的タスクを学習できるニューラルアーキテクチャの開発である。
• NTM や LSTM などの先行モデルが絶対的ポインタアドレッシングに苦労し、メモリサイズに依存したパラメータの増加を示すという制限を克服することを目的としている。
• コンテンツベースのアドレッシングを避けることで、微分可能なポインタベースのメカニズムにより、定数時間のメモリアクセスを実現することを目的としている。
• バックプロパゲーションが、複雑な制御フローとメモリアクセスパターンを伴う非常に深い、非線形なモデルを効果的に訓練できるかを検証することを目的としている。
• リンクリストやバイナリツリーのようなデータ構造を含むアルゴリズム的タスクにおいて、任意長の入力への一般化を示すことを目的としている。

提案手法

• 。NRAM モデルは、可変サイズの外部メモリ上で操作を生成するニューラルコントローラ（例：フィードフォワードまたはLSTM）を使用する。
• コアとなる操作には、READ、WRITE、およびポインタ算術（例：インクリメント、min、max）といった微分可能なモジュールを用いたメモリ位置への読み取り・書き込み・ポインタ操作が含まれる。
• 各タイムステップで固定されたモジュールのセットを適用してレジスタとメモリを更新する微分可能な回路実行メカニズムを採用しており、制御フローの意思決定は微分可能なゲートによって行われる。
• ポインタの間接参照は、レジスタ値をメモリ配列のインデックスとして使用することで実現され、データ構造の間接的アクセスと走査が可能になる。
• ポインタ値が整数に制限された「離散化」バージョンをサポートしており、これにより定数時間のメモリアクセスと一般化性能の向上が可能になる。
• トレーニングは、全実行トレースにわたるエンドツーエンドのバックプロパゲーションにより実施され、カリキュラム学習と勾配ノイズを用いて最適化を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 。微分可能なニューラルネットワークは、明示的なポインタ操作と間接参照を要するアルゴリズム的タスクを学習できるか？
• RQ2 。リンクリストやバイナリツリーを含むタスクにおいて、トレーニング時に見たシーケンスよりも長くした入力に対して、どの程度一般化できるか？
• RQ3 。コンテンツベースのアドレッシングが欠如することで、NTM よりも高速かつ安定したメモリアクセスが実現できるか？
• RQ4 。大規模なメモリ空間上で、深く非線形的で複雑な制御フローを伴うモデルをバックプロパゲーションで効果的に訓練できるか？
• RQ5 。このようなモデルにおいて、計算の終了を決定する微分可能なメカニズムを効果的に学習できるか？

主な発見

• 。NRAM モデルは、Copy、Permutation、ListK、ListSearch、WalkBST、Merge といったアルゴリズム的タスクを成功裏に解いており、最初の3つのタスクでは誤差率が0%であった。
• 。Permutation、ListK、WalkBST のタスクにおいて、トレーニング時に見たものより少なくとも2倍長い入力に対して一般化が達成され、低誤差率を維持した。
• 。モデルの離散化バージョンは、Permutation タスクで出力を正確に再現した。これは、この問題における強力な一般化性能を示している。
• 。WalkBST では 0.3% のトレーニング誤差、Merge では 1% の誤差を記録したが、より単純なタスクに比べて一般化性能はやや劣った。
• 。最適化は非常に不安定であり、最適なハイパーパramータでさえも、約11%のランダムシードのみが0誤差に収束した。
• 。勾配ノイズの使用により収束率が著しく向上し、シードの成功率が約1%から約11%に上昇した。これは、損失関数の局所的最小値から脱出するのをノイズが助けることを示唆している。