[論文レビュー] BUSTLE: Bottom-Up Program Synthesis Through Learning-Guided Exploration

Augustus Odena, Kensen Shi+4 more|arXiv (Cornell University)|Jul 28, 2020

Software Engineering Research参考文献 27被引用数 5

ひとこと要約

BUSTLEは、実行結果とプロパティ署名を活用して、検索の効率を高める学習誘導型のボトムアップ型プログラム合成手法を提案する。中間プログラム値の優先順位をニューラル分類器で決定することで、ベースラインと比較して合成時間と候補探索を顕著に短縮する。ランダムなプログラムで学習させた後、人間が書いたベンチマークに適用しても、その有効性が示された。

ABSTRACT

Program synthesis is challenging largely because of the difficulty of search in a large space of programs. Human programmers routinely tackle the task of writing complex programs by writing sub-programs and then analyzing their intermediate results to compose them in appropriate ways. Motivated by this intuition, we present a new synthesis approach that leverages learning to guide a bottom-up search over programs. In particular, we train a model to prioritize compositions of intermediate values during search conditioned on a given set of input-output examples. This is a powerful combination because of several emergent properties. First, in bottom-up search, intermediate programs can be executed, providing semantic information to the neural network. Second, given the concrete values from those executions, we can exploit rich features based on recent work on property signatures. Finally, bottom-up search allows the system substantial flexibility in what order to generate the solution, allowing the synthesizer to build up a program from multiple smaller sub-programs. Overall, our empirical evaluation finds that the combination of learning and bottom-up search is remarkably effective, even with simple supervised learning approaches. We demonstrate the effectiveness of our technique on two datasets, one from the SyGuS competition and one of our own creation.

研究の動機と目的

• 人間が採用するボトムアップ型プログラミング戦略を活用することで、プログラム合成における巨大な探索空間の課題に取り組むこと。
• 実行可能な中間値を特徴量として用いることで、ニューラルモデルを用いた学習をループ内に統合し、効率的な合成を可能にすること。
• 高速でバッチ処理されたモデル推論とプロパティ署名を用いることで、壁時計時間と候補探索の削減を実現すること。
• 合成データと人間が書いた実際のベンチマークとの間の分布ギャップを埋めること。
• ランダムなプログラムで学習した単純な教師あり学習が、複雑な人間による合成タスクに効果的に一般化できることを示すこと。

提案手法

• BUSTLEは、プログラムの列挙的探索をボトムアップに実行し、部分的なプログラムを実行して中間値を生成し、モデルの入力とする。
• 中間値が解の一部であるかどうかを予測するためのニューラル分類器を、実行された値から導出された特徴量を用いて学習する。
• プロパティ署名を用いてプログラムの入出力を特徴量化し、モデルに意味的な豊かな表現を提供する。
• 数百もの中間値に対してモデル推論をバッチ処理することで、1回の予測あたりのオーバーヘッドを低減し、効率を向上させる。
• モデルを合成ループ内に統合し、有望な中間的構成の優先順位を付けることで、探索を誘導する。
• 訓練データは、人間のベンチマークとは異なる分布を示すが、多様な中間式を模倣するため、ランダムなプログラム生成によって生成される。

実験結果

リサーチクエスチョン

• RQ1 学習されたモデルは、ボトムアップ型の合成ループ内で中間プログラム値を効果的に優先順位付けできるか？
• RQ2 実行された中間値とプロパティ署名を用いることで、合成データと人間が書いたベンチマークの間でモデルの一般化性能が向上するか？
• RQ3 ランダムなプログラムで学習した単純な教師ありモデルが、実世界のプログラム合成タスクにどの程度一般化できるか？
• RQ4 ボトムアップ探索と学習を組み合わせたループ内学習は、ベースラインの合成器と比較して測定可能な壁時計時間の短縮を達成できるか？
• RQ5 ボトムアップ探索とモデル誘導の組み合わせは、従来の列挙的探索やエンドツーエンドのニューラル生成手法を上回る性能を発揮できるか？

主な発見

• BUSTLEは、学習を用いないベースライン合成器と比較して、探索する候補プログラムの数を最大90％まで削減した。
• モデルは強力な一般化性能を示し、実際に解に含まれる部分式に対しては予測が正に偏り、それ以外に対しては負に偏った。
• 壁時計時間は顕著に短縮され、BUSTLEは合成ベンチマークおよびSyGuSベンチマークの両方で、ベースラインおよびDeepCoder風のアプローチを上回った。
• ランダムなプログラムで学習させたにもかかわらず、モデルは人間が書いたベンチマークに効果的に一般化し、分布ギャップに対して頑健であることが示された。
• バッチ処理されたモデル推論とプロパティ署名のおかげで、学習を合成ループに効率的に統合でき、実世界での利用に実用的であることが分かった。
• ベースラインが解けたベンチマークのうち1つを除き、BUSTLEでもすべての問題が解けた。これは、モデルが完全性を損なわないことを確認した。