[論文レビュー] Write, Execute, Assess: Program Synthesis with a REPL

Kevin Ellis, Maxwell Nye+4 more|arXiv (Cornell University)|Jun 9, 2019

Reinforcement Learning in Robotics参考文献 21被引用数 20

ひとこと要約

本論文では、REPL（リード・エコール・プリント・ループ）を用いてコードの書き込み、実行、評価を統合するニューラルプログラム合成フレームワークを提案する。このフレームワークにより、行動選択のためのポリシー・ネットワーク、長期的評価のための価値関数、実行フィードバックを組み合わせた順序モンテカルロ探索（SMC）を用いることで、従来の手法よりも高速かつ信頼性の高い、複雑なテキスト編集および3D/2Dグラフィックスプログラムの合成が実現された。

ABSTRACT

We present a neural program synthesis approach integrating components which write, execute, and assess code to navigate the search space of possible programs. We equip the search process with an interpreter or a read-eval-print-loop (REPL), which immediately executes partially written programs, exposing their semantics. The REPL addresses a basic challenge of program synthesis: tiny changes in syntax can lead to huge changes in semantics. We train a pair of models, a policy that proposes the new piece of code to write, and a value function that assesses the prospects of the code written so-far. At test time we can combine these models with a Sequential Monte Carlo algorithm. We apply our approach to two domains: synthesizing text editing programs and inferring 2D and 3D graphics programs.

研究の動機と目的

• プログラム合成における意味的感度の課題に取り組むこと、すなわち、小さな構文的変更が大きな意味的変化を引き起こす現象を解消すること。
• 部分プログラムの書き込み、実行、評価を繰り返すことで、人間のプログラミング作業フローをニューラルエージェントが模倣できることを実現すること。
• 構文のみに依存するのではなく、実行状態に根ざした探索により、プログラム合成の堅牢性と効率性を向上させること。
• テキスト編集および2D/3Dグラフィックスプログラム合成という多様な分野において、フレームワークの有効性を検証すること。
• 40個以上のアクションを含む長大なプログラム、特にトレーニング分布外のものにも一般化できることを示すこと。

提案手法

• フレームワークは、現在の部分プログラムとその実行状態に基づき、次のコードトークンまたは構文的構成を提案するポリシー・ネットワークを用いる。
• 価値関数は、現在の部分プログラム状態の長期的有望性を評価し、より生産的な経路へと探索を誘導する。
• REPLは部分的に書かれたプログラムをリアルタイムで実行し、その意味的特性を明らかにすることで、正しさに関する即時のフィードバックを提供する。
• 推論段階で順序モンテカルロ（SMC）探索が用いられ、ポリシーに従ってアクションをサンプリングし、価値関数スコアに基づいて候補を再重み付けし、有望でない分岐を pruning する。
• 構文ではなく実行結果に条件づけた実行状態に基づいて、意味空間における確率的探索が実現される。
• ポリシーおよび価値ネットワークは、プログラムの正しさに基づいて報酬を設計した強化学習により、合成タスクの分布上で学習される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルプログラム合成にREPLを統合することで、意味的理解が向上し、構文的ノイズに対する感受性が低下するか？
• RQ2 部分プログラムを評価する価値関数を学習することで、プログラム合成における探索の効率性と収束性が向上するか？
• RQ3 書き込み、実行、評価を統合した統一フレームワークが、テキスト編集や3Dグラフィックスなど多様な分野に一般化可能か？
• RQ4 実行フィードバックを組み合わせたSMCベースの探索は、ビームサーチやロールアウトと比較して、合成の正確性と効率性に優れているか？
• RQ5 モデルは、トレーニング時に観測されたものより長いプログラム、特にどの程度一般化可能か？

主な発見

• 価値関数を用いたSMCサンプラーは、困難な87問題のテキスト編集データセットで、最も高い正解プログラム数を達成し、ビームサーチやロールアウト手法を上回った。
• システムは最大40のアクション、350ビットを超える記述長を持つプログラムを合成でき、30アクションのトレーニング制限を超えた強力な分布外一般化を示した。
• 価値関数を用いたビームサーチは、価値関数なしのビームサーチを上回り、価値関数が探索品質の向上に寄与していることを確認した。
• ホールドアウトされたテストインスタンスにおいても、一貫して正解プログラムを発見した。例えば、'Dr James Watson' を 'Watson, James (Dr)' に、'12/8/2019' を 'date: 8 mo: 12 year: 2019' に正しく変換した。
• REPLの統合により、モデルの構文的パターン依存性が低下し、コードと動作の意味的関係をより堅牢に学習できるようになった。
• 特に複雑で長大な変換において、RobustFillなどのベースライン手法と比較して優れた性能と低いノード展開数を示した。