[論文レビュー] Leveraging Grammar and Reinforcement Learning for Neural Program Synthesis

Rudy Bunel, Matthew Hausknecht+3 more|arXiv (Cornell University)|May 11, 2018

Software Engineering Research被引用数 49

ひとこと要約

本論文は、監視付きニューラルプログラム合成器の上に構文ベースの剪定（手書きまたは学習）を組み合わせて、プログラムのエイリアシングを解消しデータ効率を向上させる。Karel DSLを用いて実証。

ABSTRACT

Program synthesis is the task of automatically generating a program consistent with a specification. Recent years have seen proposal of a number of neural approaches for program synthesis, many of which adopt a sequence generation paradigm similar to neural machine translation, in which sequence-to-sequence models are trained to maximize the likelihood of known reference programs. While achieving impressive results, this strategy has two key limitations. First, it ignores Program Aliasing: the fact that many different programs may satisfy a given specification (especially with incomplete specifications such as a few input-output examples). By maximizing the likelihood of only a single reference program, it penalizes many semantically correct programs, which can adversely affect the synthesizer performance. Second, this strategy overlooks the fact that programs have a strict syntax that can be efficiently checked. To address the first limitation, we perform reinforcement learning on top of a supervised model with an objective that explicitly maximizes the likelihood of generating semantically correct programs. For addressing the second limitation, we introduce a training procedure that directly maximizes the probability of generating syntactically correct programs that fulfill the specification. We show that our contributions lead to improved accuracy of the models, especially in cases where the training data is limited.

研究の動機と目的

• 単一の参照プログラムではなく、任意の意味的に正しいプログラムを最適化することによって、プログラムエイリアシングの問題に対処する。
• 候補プログラムの指数関数的に大きい探索空間を剪定するために構文を活用する。
• 明示的な文法チェッカーが利用できない場合に、言語の構文を学習できるようにする。
• 限られた学習例しかないKarel DSLデータセットでデータ効率の良い改善を実証する。

提案手法

• IOペアの埋め込みを条件付けした逐次的LSTMベースの合成器を用いる。
• IOサンプル上のプログラム正確性を符号化する報酬R_i(λ)を用いて、最大尤度訓練を強化学習に置換する。
• ビーム探索を用いて実現可能な候補プログラムのプリフィクス集合を生成し、候補プログラム上の近似分布q_θを定義する。
• デコード時および訓練時に無効なトークンを剪定するため、構文ベースのマスクまたは学習済み構文LSTMを組み込む。
• 任意で、明示的な文法なしで構文を共同学習するために、構文検査用LSTMをアーキテクチャと訓練損失に統合する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、単一の参照プログラムに一致させることではなく、任意の意味的に正しいプログラムの合成を改善できるか（プログラムエイリアシングに対処）？
• RQ2 制御フローを持つ DSL において、明示的な構文剪定（または構文の学習）がニューラルプログラム合成の効率と品質を向上させるか？
• RQ3 データの入手可能性は、プログラム合成におけるRLと構文剪定の恩恵にどのように影響するか？
• RQ4 正式な文法が提供されていない場合にモデルが構文を学習できるか、そしてこれが性能向上に寄与するか？

主な発見

• ビーム探索を用いた場合、強化学習はMLEに対するトップ1の一般化を向上させる（例：全データセットではRL_beamがMLEより一般化性能が高い）。
• 多様性を取り入れたビーム探索ベースのRL手法（RL_beam_div, RL_beam_div_opt）は、特にデータが限られている場合に一般化をさらに改善し、利得を安定させる。
• 正確さを最適化すると全データセットでの完全一致率が参照データに対して低下する可能性があるが、未見の保持分布に対する一般化を向上させ、小規模データセットで特に顕著な利得を得る。
• データが乏しい状況では、MLEに対する相対的な改善が大きく、データ効率が改善されていることを示す。
• 構文ベースの剪定（手書きまたは学習）は剪定空間を大幅に縮小し、精度を向上させるのに有効であり、データが限られるときには学習された構文が特に良好に機能する。