[論文レビュー] Synthesize, Execute and Debug: Learning to Repair for Neural Program Synthesis

Kavi Gupta, Peter Ebert Christensen+2 more|arXiv (Cornell University)|Jul 16, 2020

Software Testing and Debugging Techniques参考文献 30被引用数 12

ひとこと要約

この論文では、合成、実行、反復的デバッグを統合することでプログラムの正しさを向上させるニューラルプログラム合成フレームワーク SED を提案する。実行トレースとニューラルデバッガーを活用して候補プログラムを反復的に修復することで、Karel ベンチマークにおいてエラー率を顕著に低減し、ベースの合成器および標準的なビームサーチデコードを上回る性能を発揮する。

ABSTRACT

The use of deep learning techniques has achieved significant progress for program synthesis from input-output examples. However, when the program semantics become more complex, it still remains a challenge to synthesize programs that are consistent with the specification. In this work, we propose SED, a neural program generation framework that incorporates synthesis, execution, and debugging stages. Instead of purely relying on the neural program synthesizer to generate the final program, SED first produces initial programs using the neural program synthesizer component, then utilizes a neural program debugger to iteratively repair the generated programs. The integration of the debugger component enables SED to modify the programs based on the execution results and specification, which resembles the coding process of human programmers. On Karel, a challenging input-output program synthesis benchmark, SED reduces the error rate of the neural program synthesizer itself by a considerable margin, and outperforms the standard beam search for decoding.

研究の動機と目的

• ニューラル合成器が意味的複雑性のため失敗する際、入出力例からの正しいプログラムの合成という課題に取り組むこと。
• 実行フィードバックを用いて誤ったプログラムを修正するデバッグフェーズを組み込むことで、プログラム合成のパフォーマンスを向上させること。
• 人間のデバッグに類似した反復的プロセスとしてプログラム修復をモデル化し、耐障害性と一般化能力を向上させること。
• ニューラルデバッガーが、合成器がビームサーチやグリーディデコードを使用している場合でも、ベースの合成器のパフォーマンスを顕著に向上させられることを示すこと。

提案手法

• SED はまず、入出力例に基づいてトレーニングされたニューラルプログラム合成器を用いて候補プログラムを生成する。
• 各候補プログラムは実行され、実行トレースが得られる。これらのトレースはデバッグのための意味的フィードバックを提供する。
• ニューラルデバッガー部は、最も有望なプログラムを選択し、実行結果と仕様制約に基づいて編集操作を適用する。
• デバッガーは複数ステップにわたりプログラムを反復的に修正し、文法的構造と意味的実行トレースの両方を用いて修復をガイドする。
• デバッガーの教師あり事前トレーニング中に発生するプログラムのアリヤス問題を軽減するため、2段階のトレーニング方式を採用する。
• 本手法は Karel ベンチマークで評価され、ベースの合成器およびビームサーチデコード戦略を上回る性能を示した。

実験結果

リサーチクエスチョン

• RQ1 実行トレースに従って反復的プログラム修復を行うことで、直接的合成を超えてニューラルプログラム合成のパフォーマンスが向上するか？
• RQ2 ニューラルデバッガーを統合することで、複雑な入出力ベンチマークにおけるプログラム合成器のエラー率はどのように変化するか？
• RQ3 デバッガーが意味的実行トレースを活用できることで、純粋に文法的またはヒューリスティックな手法よりも優れた修復結果が得られるか？
• RQ4 合成器がすでに探索や実行フィードバックを使用している場合でも、SED フレームワークはビームサーチなどの標準的なデコード戦略を上回れるか？
• RQ5 デバッガーは、正解から構文的に大きく離れたプログラムに対しても、どの程度回復可能か？

主な発見

• SED は Karel ベンチマークにおいて、ベースのニューラルプログラム合成器のエラー率を顕著に低減した。
• 合成器がグリーディデコード（1つの候補のみを生成）を使用している場合でさえ、SED は最終的な正答率においてビームサーチデコードを上回った。
• ニューラルデバッガーの統合によりパフォーマンスが顕著に向上し、デバッグが合成の貴重な補完であることが示された。
• 2段階のトレーニング方式は、プログラムのアリヤス問題を効果的に軽減し、分布シフトに対しても強力な一般化を可能にした。
• 異なるベースとなる合成器モデルの選択に対しても、フレームワークは性能を向上させた。これは、広範な適用可能性を示している。
• 実行トレースは、特に部分実行が曖昧になるループを含むプログラムにおいて、意味的エラーを特定・修正するデバッガーにとって不可欠である。