[論文レビュー] Improving the Universality and Learnability of Neural Programmer-Interpreters with Combinator Abstraction

Xiao Da, Jo-Yu Liao+1 more|arXiv (Cornell University)|Feb 15, 2018

Ferroelectric and Negative Capacitance Devices被引用数 9

ひとこと要約

本論文では、普遍性と学習可能性を向上させるために最小限の4つのコンビネータを統合した新しいNPIアーキテクチャ、組み合わせ的ニューラルプログラマー・インタプリタ（CNPI）を提案する。コンビネータにプログラムの複雑さを移管することで、コアコントローラーの負担を軽減し、コンビネータ可能なプログラムの普遍的実行を可能にするとともに、カリキュラム設計を用いた教師あり学習およびポリシー勾配強化学習の両方をサポートする。

ABSTRACT

To overcome the limitations of Neural Programmer-Interpreters (NPI) in its universality and learnability, we propose the incorporation of combinator abstraction into neural programing and a new NPI architecture to support this abstraction, which we call Combinatory Neural Programmer-Interpreter (CNPI). Combinator abstraction dramatically reduces the number and complexity of programs that need to be interpreted by the core controller of CNPI, while still allowing the CNPI to represent and interpret arbitrary complex programs by the collaboration of the core with the other components. We propose a small set of four combinators to capture the most pervasive programming patterns. Due to the finiteness and simplicity of this combinator set and the offloading of some burden of interpretation from the core, we are able construct a CNPI that is universal with respect to the set of all combinatorizable programs, which is adequate for solving most algorithmic tasks. Moreover, besides supervised training on execution traces, CNPI can be trained by policy gradient reinforcement learning with appropriately designed curricula.

研究の動機と目的

• 複雑なプログラムを処理する際の、既存のニューラルプログラマー・インタプリタ（NPI）の普遍性の制限と学習性の低さを解決する。
• 形式的なコンビネータ抽象化レイヤーを導入することで、コアコントローラーが解釈すべきプログラムの数と複雑さを削減する。
• 一般的なプログラミングパターンを捉える最小限で有限のコンビネータ集合を設計し、スケーラブルなプログラム表現を可能にする。
• コンビネータ可能なプログラムの集合全体に対して普遍性を達成する。これは、大多数のアルゴリズム的タスクをカバーする。
• 実行トレースに基づく教師あり学習と、カリキュラムベースの最適化を用いた強化学習の両方によるトレーニングを可能にする。

提案手法

• コア制御とコンビネータベースのプログラム構築を分離する新しいNPIアーキテクチャ、組み合わせ的ニューラルプログラマー・インタプリタ（CNPI）を導入する。
• 広く普及したプログラミングパターンを表現するための最小限の4つのコンビネータを定義し、コアが低レベルのプログラム構造を解釈する必要を減らす。
• 複雑なプログラムをこれらのコンビネータの合成に分解することで、コアコントローラーからの解釈の複雑さを軽減する。
• コアとコンビネータレイヤーを組み合わせることで、コンビネータ可能なプログラムの集合全体に対する普遍的インタプリタを構築する。
• 実行トレースに基づく教師あり学習と、カリキュラム設計に基づいた報酬形状の強化学習の両方をサポートする。
• コアコントローラーが正しくコンビネータを合成・呼び出すように学習し、多様なアルゴリズム的タスクに一般化可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 最小限のコンビネータ集合が、ニューラルプログラムインタプリタにおける普遍的プログラム実行に必要な基本的なプログラミングパターンを捉えられるか？
• RQ2 コンビネータにプログラムの解釈の複雑さを移管することで、NPIにおけるコアコントローラーの学習性とスケーラビリティが向上するか？
• RQ3 コンビネータ抽象化に依存することで、CNPIが広範なアルゴリズム的タスクのクラスに対して普遍性を達成できるか？
• RQ4 カリキュラム設計を用いた教師あり学習と強化学習の両方で、CNPIを効果的にトレーニングすることが可能か？
• RQ5 コンビネータの統合が、ニューラルプログラムインタプリタの表現力と一般化能力にどのように影響するか？

主な発見

• 提案されたCNPIアーキテクチャは、コンビネータ可能なプログラムの集合全体に対して普遍性を達成しており、これは大多数のアルゴリズム的タスクを解ける十分な条件である。
• 有限で単純な4つのコンビネータの使用により、コアコントローラーが解釈すべきプログラムの複雑さと数が顕著に低下する。
• CNPIは、実行トレースに基づく教師あり学習と、カリキュラムベースのトレーニングを用いたポリシー勾配強化学習の両方をサポートする。
• コンビネータ抽象化により、高レベルの構造と低レベルの制御を分離することで、スケーラブルで一般化可能なプログラム学習が可能になる。
• 標準NPIと比較して、表現力は維持しつつ、トレーニングの安定性と解釈可能性が向上する。
• コンビネータの統合により、コアは合成と制御に集中でき、全体のシステム性能と一般化能力が向上する。