[論文レビュー] Strong Generalization and Efficiency in Neural Programs

Yujia Li, Felix Gimeno+2 more|arXiv (Cornell University)|Jul 7, 2020

Reinforcement Learning in Robotics参考文献 30被引用数 19

ひとこと要約

本論文では、任意の入力サイズにわたる強力な一般化能力と、手動でコーディングされたアルゴリズムを上回る効率性を備えたニューラルプログラムを学習するため、模倣学習と強化学習を組み合わせた新規フレームワークを提示する。CPU命令セットを模した特別なニューラルインターフェースを設計し、強化学習による最適化を通じて効率性を向上させることで、モデルはソート、探索、0/1ナップサック問題のアルゴリズムを学習する。これらのアルゴリズムは、クイックソートを含む従来の実装を上回り、O(n log n)の時間計算量を達成し、学習分布外でも完全に一般化する。

ABSTRACT

We study the problem of learning efficient algorithms that strongly generalize in the framework of neural program induction. By carefully designing the input / output interfaces of the neural model and through imitation, we are able to learn models that produce correct results for arbitrary input sizes, achieving strong generalization. Moreover, by using reinforcement learning, we optimize for program efficiency metrics, and discover new algorithms that surpass the teacher used in imitation. With this, our approach can learn to outperform custom-written solutions for a variety of problems, as we tested it on sorting, searching in ordered lists and the NP-complete 0/1 knapsack problem, which sets a notable milestone in the field of Neural Program Induction. As highlights, our learned model can perform sorting perfectly on any input data size we tested on, with $O(n log n)$ complexity, whilst outperforming hand-coded algorithms, including quick sort, in number of operations even for list sizes far beyond those seen during training.

研究の動機と目的

• 学習分布外の任意の入力サイズに強く一般化するニューラルプログラム誘導モデルの開発。
• 正しさだけでなく、操作回数や時間計算量といったアルゴリズムの効率性を最適化すること。
• 模倣学習で使用される教師ポリシーを上回る、より効率的な新しいアルゴリズムを強化学習によって発見すること。
• ニューラルプログラム学習における入力/出力インターフェース設計が一般化性能と効率性に与える影響を調査すること。
• ニューラルモデルがNP完全問題やソートタスクにおいて、古典的アルゴリズムを正確性と効率性の両面で上回ることを示すこと。

提案手法

• CPUアーキテクチャを模した独自の命令セットとメモリインターフェースを備えたニューラルコントローラーを設計し、プログラム実行の精密な制御を可能にする。
• 限定された入力サイズ（例：バブルソート、挿入ソート、クイックソート）で教師アルゴリズムを模倣するため、教師あり損失を用いた模倣学習により事前学習を行う。
• 操作回数やエピソード長といった効率指標を最適化するため、形状付けられた報酬とスパarsな報酬を用いた強化学習を適用する。
• 学習安定性を向上させるために、入力サイズを段階的に増加させるカリキュラム学習（例：バブル・インサーションでは10～20、クイックソートでは30～50）を採用する。
• アンロール長と報酬形状付けを活用し、単に模倣に依存せずに、効率的かつ正しい行動をポリシー学習に導く。
• 一般化を評価するため、学習範囲をはるかに超える入力サイズ（ソートタスクでは最大1000要素まで）でモデルをテストする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルプログラムは、学習中に見なかった入力サイズに対しても、正しく一般化できるか？
• RQ2 ニューラルモデルの入力/出力インターフェース設計が、一般化性能と効率性に与える影響は何か？
• RQ3 強化学習は、模倣学習で使用された教師ポリシーを上回る、より効率的なアルゴリズムを発見できるか？
• RQ4 ニューラルモデルは、操作回数や時間計算量の観点から、どの程度手動でコーディングされたアルゴリズムを上回れるか？
• RQ5 0/1ナップサック問題のようなNP完全問題に対して、ニューラルプログラム誘導を用いて、証明可能に正しいかつ効率的なアルゴリズムを学習することは可能か？

主な発見

• モデルはソートタスクにおいて完全な一般化を達成し、1000要素にまで及ぶ任意のサイズの配列を正しくソートする。時間計算量はO(n log n)である。
• 訓練時に入力サイズよりもはるかに大きなサイズに対しても、手動でコーディングされたクイックソートを操作回数の観点で上回る。
• スパース報酬を用いた強化学習は、模倣学習のみよりも優れた性能を示し、最良のモデルは教師ポリシーを効率性の面で上回る。
• 報酬形状付けを用いたモデルは収束が速いが、スパース報酬設定ではより効率的な最終ポリシーが得られる。
• 実行トレース動画から、教師とは異なる、模倣に依存しない行動をモデルが学習していることが明らかとなり、新しいアルゴリズム戦略の発見が示された。
• 本アプローチは、NP完全問題として知られる0/1ナップサック問題に対しても、効率的な解決策を学習し、ニューラルプログラム誘導分野における画期的な進展を達成した。