[論文レビュー] Learning Simple Algorithms from Examples

Wojciech Zaremba, Tomáš Mikolov+2 more|arXiv (Cornell University)|Nov 23, 2015

Machine Learning and Algorithms参考文献 15被引用数 24

ひとこと要約

この論文では、1次元テープや2次元グリッドなどの記号的インターフェースと相互作用することで、多桁の加算、乗算、コピーといった単純なアルゴリズムを学習するニューラルコントローラーを訓練する強化学習フレームワークを提示する。動的割引、ペナルティ項、WatkinsのQ(λ)を用いた強化されたQ学習により、学習中に見られなかった長さのシーケンスに対しても一般化が可能となり、標準的なQ学習では過学習のリスクがあるものの、ほとんどのタスクでほぼ完璧なパフォーマンスを達成した。

ABSTRACT

We present an approach for learning simple algorithms such as copying, multi-digit addition and single digit multiplication directly from examples. Our framework consists of a set of interfaces, accessed by a controller. Typical interfaces are 1-D tapes or 2-D grids that hold the input and output data. For the controller, we explore a range of neural network-based models which vary in their ability to abstract the underlying algorithm from training instances and generalize to test examples with many thousands of digits. The controller is trained using $Q$-learning with several enhancements and we show that the bottleneck is in the capabilities of the controller rather than in the search incurred by $Q$-learning.

研究の動機と目的

• ニューラルネットワークコントローラーが、タスク固有の教師信号を用いずに、原始的な入出力例からのみ、単純で決定的なアルゴリズムを学習できるかどうかを調査すること。
• 特に長大なシーケンスにおいて、アルゴリズム的タスクに対する強化学習の一般化の課題に取り組むこと。
• スパarsな報酬信号を伴うアルゴリズム的推論に標準的なQ学習を適用した際の制限を特定し、克服すること。
• コントローラーのアーキテクチャ（例：LSTM、GRU、フィードフォワード）が、有限状態オートマトンに類似した行動を学習するのにおよぼす影響を評価すること。

提案手法

• フレームワークは、記号的インターフェース（入力テープ、入力グリッド、出力テープ）と相互作用するコントローラー（再帰的ニューラルネットワーク（RNN）またはフィードフォワードネットワーク）を用いる。
• コントローラーは、左に移動、読み取り、書き込み、NOP（何もしない）などの離散的アクションを発行し、インターフェースを操作して正しい出力を生成する。
• 強化学習は、スパースな報酬信号（正しい出力に対して1、それ以外は0）を用いたQ学習で実施され、訓練の安定性を高めるために微分可能な交差エントロピー損失が追加されている。
• 主な強化策として、シーケンス長に依存しない学習を可能にする動的割引項、一般化のためのペナルティ項、時間的信用配分のためのWatkinsのQ(λ)が含まれる。
• 教師信号は別設定で提供され、モデルの制限やパフォーマンスの上限を分析できるようにしている。
• 複雑なタスク（例：3行の加算）の訓練安定性を向上させるために、カリキュラム学習が適用されている。

実験結果

リサーチクエスチョン

• RQ1 ニューラルコントローラーは、入出力例とスパースな報酬のみを用いて、多桁の加算や乗算を学習できるか？
• RQ2 正解のアクションが提供されていても、なぜ標準的なQ学習は長大なシーケンスへの一般化に失敗するのか？
• RQ3 コントローラーのアーキテクチャと記憶容量は、アルゴリズム的学習タスクにおける一般化にどのように影響するか？
• RQ4 動的割引やペナルティ項といったアーキテクチャの変更が、RLベースのアルゴリズム学習における一般化をどの程度向上させるか？
• RQ5 同じアルゴリズム的タスク（例：加算）に対して、複数の有効な解決戦略をモデルが発見できるか？

主な発見

• 標準的なQ学習は、正解のアクションが提供されていても、長大なシーケンスへの一般化が著しく劣るため、大多数のアルゴリズム的タスクで失敗する。
• 動的割引、ペナルティ項、WatkinsのQ(λ)を組み合わせた強化により、1,000桁までのシーケンスでコピー、反転、2行の加算タスクにおいて100％の成功を達成した。
• テストシーケンスが1,000桁であっても一般化が可能であるが、特に単桁乗算のような最も複雑なタスクではパフォーマンスがわずかに低下する。
• コントローラーの記憶容量が過剰になると、正しくても過学習が発生するため、モデル容量は慎重に制御する必要がある。
• 非整数報酬を使用すると、バイナリの0/1報酬と比較して訓練が遅くなるため、このタスクではスパースでバイナリの報酬がより効果的であると考えられる。
• 加算タスクに対して複数の有効な解決戦略が発見されたことから、方策空間が多様であり、コントローラーが入力テープ上で異なる移動パターンを学習できることを示している。