[論文レビュー] Neural Programmer: Inducing Latent Programs with Gradient Descent

Arvind Neelakantan, Quoc V. Le+1 more|arXiv (Cornell University)|Nov 16, 2015

Advanced Neural Network Applications参考文献 46被引用数 73

ひとこと要約

Neural Programmerは、ソフトアテンション機構を介してデータセグメントに対して基本的な算術および論理演算のセットを選択的に適用することにより、複雑なプログラムを誘導する微分可能ニューラルネットワークアーキテクチャを導入する。勾配降下法を用いて最終出力の監視のみでエンドツーエンドに訓練されるが、標準的なRNNやアテンションモデルが失敗する合成テーブル理解タスクにおいて、ほぼ完璧な精度を達成する。

ABSTRACT

Deep neural networks have achieved impressive supervised classification performance in many tasks including image recognition, speech recognition, and sequence to sequence learning. However, this success has not been translated to applications like question answering that may involve complex arithmetic and logic reasoning. A major limitation of these models is in their inability to learn even simple arithmetic and logic operations. For example, it has been shown that neural networks fail to learn to add two binary numbers reliably. In this work, we propose Neural Programmer, an end-to-end differentiable neural network augmented with a small set of basic arithmetic and logic operations. Neural Programmer can call these augmented operations over several steps, thereby inducing compositional programs that are more complex than the built-in operations. The model learns from a weak supervision signal which is the result of execution of the correct program, hence it does not require expensive annotation of the correct program itself. The decisions of what operations to call, and what data segments to apply to are inferred by Neural Programmer. Such decisions, during training, are done in a differentiable fashion so that the entire network can be trained jointly by gradient descent. We find that training the model is difficult, but it can be greatly improved by adding random noise to the gradient. On a fairly complex synthetic table-comprehension dataset, traditional recurrent networks and attentional models perform poorly while Neural Programmer typically obtains nearly perfect accuracy.

研究の動機と目的

• 深層ニューラルネットワークが、合成的プログラム誘導を要するタスクにおいて算術的および論理的推論を学ぶ能力に欠けるという限界に対処すること。
• 意味解析やプログラム誘導において、高価な人手によるプログラムアノテーションや手作業で作成された文法に依存することを減らすこと。
• 段階的プログラムアノテーションを必要とせず、最終出力のみの監視で神経モデルのエンドツーエンド訓練を可能にすること。
• ニューラルパターン認識と記号的演算を組み合わせた汎用的かつドメインに依存しないプログラム誘導フレームワークの開発

提案手法

• モデルは、各ステップで入力要素に対する微分可能アテンションを通じて、データセグメントと演算（例：合計、最大値、比較）を選択する再帰的コントローラーを使用する。
• 選択された演算がデータセグメントに適用され、その結果はメモリに保存され、将来の意思決定を支援する。これにより、複数ステップにわたる合成的推論が可能になる。
• 演算およびデータセグメントの選択はソフトアテンション機構を通じて微分可能であり、最終出力のみを監視としてバックプロパゲーションを用いて全システムを訓練可能である。
• テスト時、ソフトアテンションはハード選択（例：argmax）に置き換えられ、決定論的なプログラム実行を保証する。
• 勾配にランダムノイズを注入することで訓練が安定化され、一般化性能と収束性が向上する。
• モデルは、テキサス州に接する州の数を数えるなど、複数ステップにわたる推論を要する合成テーブル理解データセット上で評価される。

実験結果

リサーチクエスチョン

• RQ1 最終出力の監視のみで段階的プログラムアノテーションを必要とせず、神経ネットワークが複雑で合成的なプログラムを誘導できるか？
• RQ2 微分可能な演算およびデータ選択が、記号的推論タスクのための神経モデルのエンドツーエンド訓練を可能にするか？
• RQ3 標準的なLSTMやアテンションベースのモデルと比較して、算術的および論理的演算を含む推論タスクにおけるモデルの性能はいかがなっているか？
• RQ4 勾配にノイズを注入することで、弱い監視のもとでのプログラム誘導における訓練の安定性と一般化性能が向上するか？

主な発見

• Neural Programmerは、複雑な合成テーブル理解データセットで100％の精度を達成したが、標準的なLSTMやLSTM-アテンションモデルは、同じタスクのより簡単なバージョンでは約80％の精度にとどまった。
• 分布外の入力スケール（例：[-10,10]ではなく[-50,50]の数値）でテストした場合、LSTMモデルの精度は30％まで低下したが、Neural Programmerは推論時のスケール不変性を持つハード選択により、完璧な性能を維持した。
• 勾配にランダムノイズを追加することで訓練の安定性と一般化性能が顕著に向上し、ノイズを含んで訓練されたモデルは、ノイズなしのモデルを常に上回った。
• モデルは強力な合成的一般化を示し、中間ステップの明示的監視がなくても、基本的な演算を組み合わせて複雑な推論パイプラインを学習できた。