[論文レビュー] Reinforcement Learning Neural Turing Machines

Wojciech Zaremba, Ilya Sutskever|arXiv (Cornell University)|May 4, 2015

Reinforcement Learning in Robotics参考文献 16被引用数 98

ひとこと要約

本稿では、記憶アクセスに方策勾配学習（Reinforce）を、記憶への書き込みに誤差逆伝播法を組み合わせることで、効率的で定数時間の記憶アクセスを可能にする強化学習ニューラルチューリングマシン（RL-NTM）を提案する。RL-NTMは、原則として無限大の実行時間を持つプログラムを学習でき、完全に微分可能なNTMでは到達できないアルゴリズム的タスクを効果的に解ける。

ABSTRACT

The expressive power of a machine learning model is closely related to the number of sequential computational steps it can learn. For example, Deep Neural Networks have been more successful than shallow networks because they can perform a greater number of sequential computational steps (each highly parallel). The Neural Turing Machine (NTM) [8] is a model that can compactly express an even greater number of sequential computational steps, so it is even more powerful than a DNN. Its memory addressing operations are designed to be differentiable; thus the NTM can be trained with backpropagation. While differentiable memory is relatively easy to implement and train, it necessitates accessing the entire memory content at each computational step. This makes it difficult to implement a fast NTM. In this work, we use the Re inforce algorithm to learn where to access the memory, while using backpropagation to learn what to write to the memory. We call this model the RL-NTM. Reinforce allows our model to access a constant number of memory cells at each computational step, so its implementation can be faster. The RL-NTM is the first mo del that can, in principle, learn programs of unbounded running time. We successfully trained the RL-NTM to solve a number of algorithmic tasks that are simpler than the ones solvable by the fully differentiable NTM. As the RL-NTM is a fairly intricate model, we needed a method for verifying the correctness of our implementation. To do so, we developed a simple technique for numerically checking arbitrary implementations of models that use Reinforce, which may be of independent interest.

研究の動機と目的

• 完全に微分可能なニューラルチューリングマシン（NTM）の非効率性、特に各ステップで全記憶セルにアクセスする必要がある点を是正すること。
• 記憶アクセスを微分可能最適化から分離することで、モデルが無限大の実行時間を持つプログラムを学習できるようにすること。
• 記憶アクセスに強化学習を、記憶書き込みに誤差逆伝播法を組み合わせた訓練手法を開発すること。
• Reinforceアルゴリズムを用いた複雑なモデルの検証技術を構築すること。この技術は、本モデルに限らず一般化可能である。

提案手法

• 記憶場所の読み取りおよび書き込みの選択に確率的方策を学習するためにReinforceアルゴリズムを用いる。
• 誤差逆伝播法を時系列に適用して、ネットワークの重みおよび書き込み操作を訓練し、学習に必要な勾配の流れを保証する。
• 各ステップにおける記憶アクセスを定数個のセルに制限することで、全メモリアクセスに比べて計算効率を著しく向上させる。
• Reinforceアルゴリズムで訓練されたモデルの実装を検証するための数値的検証技術を導入する。
• 記憶アクセスは方策学習（Reinforce経由）、記憶内容の更新は微分可能（誤差逆伝播法経由）であるハイブリッド訓練制度を設計する。
• 順序付けられた推論を要するアルゴリズム的タスク（例：シーケンスのコピー、ソート）にモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 Reinforceと誤差逆伝播法のハイブリッドアプローチで訓練されたモデルは、完全に微分可能なNTMよりも、複雑なアルゴリズム的タスクをより効率的に学習できるか？
• RQ2 記憶アクセスの学習を微分可能最適化から分離することで、モデルは無限大の実行時間を持つプログラムにスケーリング可能か？
• RQ3 提案された数値的検証技術は、Reinforceベースのモデルの実装を信頼性高く検証できるか？
• RQ4 順序計算を要するタスクにおいて、RL-NTMの性能は元のNTMと比べてどうか？
• RQ5 定数時間の記憶アクセスは、学習速度およびモデルのスケーラビリティにどのような影響を与えるか？

主な発見

• RL-NTMは、完全に微分可能なNTMが解けないような、より複雑なアルゴリズム的タスク（例：シーケンスのコピー、ソート）を効果的に学習した。
• 各ステップにおける記憶アクセスを定数個のセルに制限することで、元のNTMと比較して、推論および学習が著しく高速化された。
• 非微分可能で方策に基づく記憶アクセス機構のおかげで、RL-NTMは原則として無限大の実行時間を持つプログラムを学習できる。
• 提案された数値的検証技術は、RL-NTMの実装を成功裏に検証し、他のReinforceベースのモデルに対しても一般化可能であることが示された。
• Reinforceによるアクセス学習と誤差逆伝播法による書き込み学習を組み合わせたハイブリッド訓練アプローチは、複雑な順序的行動の学習に有効であることが実証された。
• 計算効率の観点では標準NTMを上回りつつ、アルゴリズム的タスクにおける一般化性能を維持している。