[論文レビュー] Towards Synthesizing Complex Programs from Input-Output Examples

Xinyun Chen, Chang Liu+1 more|arXiv (Cornell University)|Jun 5, 2017

Software Engineering Research参考文献 29被引用数 15

ひとこと要約

本論文は、再帰的パースに適したドメイン固有の微分不能マシンを操作するニューラルプログラムを学習することで、入出力例から複雑なプログラムを合成する新しい手法を提案する。微分不能マシンと二段階の強化学習アルゴリズムを組み合わせることで、訓練入力よりも500倍長い入力シーケンスに対しても100％のテスト精度を達成し、従来の最先端技術の一般化失敗を克服した。

ABSTRACT

In recent years, deep learning techniques have been developed to improve the performance of program synthesis from input-output examples. Albeit its significant progress, the programs that can be synthesized by state-of-the-art approaches are still simple in terms of their complexity. In this work, we move a significant step forward along this direction by proposing a new class of challenging tasks in the domain of program synthesis from input-output examples: learning a context-free parser from pairs of input programs and their parse trees. We show that this class of tasks are much more challenging than previously studied tasks, and the test accuracy of existing approaches is almost 0%. We tackle the challenges by developing three novel techniques inspired by three novel observations, which reveal the key ingredients of using deep learning to synthesize a complex program. First, the use of a non-differentiable machine is the key to effectively restrict the search space. Thus our proposed approach learns a neural program operating a domain-specific non-differentiable machine. Second, recursion is the key to achieve generalizability. Thus, we bake-in the notion of recursion in the design of our non-differentiable machine. Third, reinforcement learning is the key to learn how to operate the non-differentiable machine, but it is also hard to train the model effectively with existing reinforcement learning algorithms from a cold boot. We develop a novel two-phase reinforcement learning-based search algorithm to overcome this issue. In our evaluation, we show that using our novel approach, neural parsing programs can be learned to achieve 100% test accuracy on test inputs that are 500x longer than the training samples.

研究の動機と目的

• 単純な文字列や配列操作を超えた複雑なプログラムへの一般化を解決すること。
• 実行トレースの監視なしに、入力ツリー対から再帰的で文脈自由言語パーサーを学習する手法を開発すること。
• エンドツーエンドの微分可能モデルの一般化の悪さと、冷スタートからの強化学習の訓練不安定性を克服すること。
• ニューラルプログラムが、学習時に見たよりもはるかに長い入力に完全に一般化できることを示すこと。

提案手法

• 再帰をサポートし、有効なプログラムへの探索空間を制限するドメイン固有の微分不能マシンを設計すること。
• 実行トレースの回復とポリシーの訓練に用いる、新しい二段階の強化学習アルゴリズムを用いて、このマシンを操作するニューラルプログラムを訓練すること。
• マシンのアーキテクチャに再帰を埋め込み、任意に長い入力への一般化を可能にすること。
• ニューラルプログラムが有効で構造的なプログラムのみを生成するように制約するために、非微分可能マシンを微分可能インターフェースとして活用すること。
• 訓練を二段階に分解する：第一段階では妥当な実行トレースの探索を行い、第二段階では回復されたトレースを教師データとしてニューラルポリシーを訓練すること。
• マシンの再帰的構造を活用して、ニューラルプログラムが訓練シーケンス長をはるかに超えて一般化できることを実現すること。

実験結果

リサーチクエスチョン

• RQ1 文脈自由文法をパースするように学習するニューラルプログラムは、学習時に見た入力よりもはるかに長い入力に対しても一般化できるか？
• RQ2 実行トレースの監視なしに冷スタートから強化学習を安定化させることは可能か？
• RQ3 非微分可能マシンは、有効なプログラムへの探索空間を制限し、一般化を向上させる役割を果たすか？
• RQ4 再帰をニューラルプログラムの実行マシンに効果的に埋め込むことで、完全な一般化が可能になるか？

主な発見

• 提案手法は、訓練に使われた最長シーケンスの500倍長い入力シーケンスに対しても100％のテスト精度を達成し、完全な一般化を示した。
• ロバストフィルやスタックRNNを含む既存の最先端手法は、同じ長大な入力に対してほぼ0％のテスト精度を示し、一般化の難しさを浮き彫りにした。
• 二段階の強化学習アルゴリズムは、局所最適解を回避し、従来の手法とは異なり、冷スタートからの有効な訓練を可能にした。
• 非微分可能マシンに再帰を統合することが、任意に長い入力への一般化を可能にするために不可欠であることがわかった。
• 非微分可能マシンの使用により、ニューラルプログラムが有効で構造的なプログラムのみを生成するよう効果的に制約され、訓練データへの過剰適合を防げた。