[論文レビュー] Neural GPUs Learn Algorithms

ukasz Kaiser, Ilya Sutskever|arXiv (Cornell University)|Jan 1, 2016

Neural Networks and Applications被引用数 63

ひとこと要約

この論文は、畳み込みゲート付き再帰ユニットに基づく、高並列で微分可能な再帰的アーキテクチャであるNeural GPUを紹介している。このアーキテクチャは計算的ユニバーサル性を達成し、長時間のアルゴリズム的タスクに一般化する。訓練では最大20ビットのシーケンスに対して2進数の加算と乗算を学習し、正確に一般化を達成した。これはパラメータ共有の緩和、ドロップアウト、勾配ノイズによって可能になった。

ABSTRACT

Abstract: Learning an algorithm from examples is a fundamental problem that has been widely studied. Recently it has been addressed using neural networks, in particular by Neural Turing Machines (NTMs). These are fully differentiable computers that use backpropagation to learn their own programming. Despite their appeal NTMs have a weakness that is caused by their sequential nature: they are not parallel and are are hard to train due to their large depth when unfolded. We present a neural network architecture to address this problem: the Neural GPU. It is based on a type of convolutional gated recurrent unit and, like the NTM, is computationally universal. Unlike the NTM, the Neural GPU is highly parallel which makes it easier to train and efficient to run. An essential property of algorithms is their ability to handle inputs of arbitrary size. We show that the Neural GPU can be trained on short instances of an algorithmic task and successfully generalize to long instances. We verified it on a number of tasks including long addition and long multiplication of numbers represented in binary. We train the Neural GPU on numbers with upto 20 bits and observe no errors whatsoever while testing it, even on much longer numbers. To achieve these results we introduce a technique for training deep recurrent networks: parameter sharing relaxation. We also found a small amount of dropout and gradient noise to have a large positive effect on learning and generalization.

研究の動機と目的

• Neural Turing Machines (NTM) の逐次的ボトルネックと訓練の難しさを克服するため、より並列的かつスケーラブルなアーキテクチャを設計すること。
• 任意の長さの入力に対してアルゴリズム的タスクを学習・一般化できるニューラルネットワークを実現すること。特に長大な2進算術を含む。
• 深層再帰ネットワークの訓練を安定化させ、トレーニングシーケンス長をはるかに超えて一般化を向上させるためのトレーニング技術を開発すること。
• エンドツーエンドのアルゴリズム学習に適した、微分可能で並列なアーキテクチャにおいて計算的ユニバーサル性を示すこと。

提案手法

• Neural GPUは、空間的位置にわたる重み共有を用いる畳み込みゲート付き再帰ユニット（Gated Recurrent Unit）を採用し、並列計算を可能にするとともにパラメータ数を削減する。
• 重み共有の緩和という技術を用い、バックプロパゲーション中に重み共有を分離することで、深層再帰ネットワークの訓練を安定化させる。
• 勾配ノイズとドロップアウトを適用することで、一般化性と訓練安定性を向上させながら、時間に沿った誤差逆伝播（backpropagation through time）を用いてモデルを訓練する。
• ネットワークは2進数のシーケンスを処理し、ゲート機構を通じて関連する位置に注目することで、加算や乗算などの演算を学習する。
• 短いシーケンス（最大20ビット）で訓練し、はるかに長いシーケンスで評価することで一般化性能をテストする。

実験結果

リサーチクエスチョン

• RQ1 微分可能で再帰的なニューラルネットワークアーキテクチャは、トレーニング時に見られなかった長さのアルゴリズム的タスクを学習・一般化できるか？
• RQ2 勾配消失や勾配爆発のため標準的なバックプロパゲーションが失敗する状況において、深層再帰ネットワークを効果的に訓練する方法は何か？
• RQ3 並列アーキテクチャは、複雑なアルゴリズムを学習できる能力を維持しつつ、計算的ユニバーサル性を達成できるか？
• RQ4 深層再帰ネットワークのアルゴリズム的学習における一般化性と安定性を向上させるために、最も効果的なトレーニング技術は何か？

主な発見

• Neural GPUは2進加算および乗算タスクにおいて完全な一般化を達成し、20ビットのトレーニングシーケンスよりもはるかに長いシーケンスに対しても誤りが一切観察されなかった。
• モデルは任意の長さの入力に強く一般化しており、これは訓練例の記憶ではなく、根本的なアルゴリズム的構造を学習した証拠である。
• パラメータ共有の緩和は、深層再帰アーキテクチャにおける訓練安定性と性能を顕著に向上させた。
• わずかな量のドロップアウトと勾配ノイズの追加が学習と一般化を著しく向上させた。これは正則化がアルゴリズム的学習において極めて重要であることを示唆している。