[論文レビュー] CrossBeam: Learning to Search in Bottom-Up Program Synthesis

Kensen Shi, Hanjun Dai+2 more|arXiv (Cornell University)|Mar 20, 2022

Software Engineering Research被引用数 6

ひとこと要約

CrossBeamは、検索の全コンテキストと実行結果に基づいて、以前に探索済みのプログラムを選び組み合わせることで、下向きプログラム合成における検索をガイドするニューラル検索方策を提案する。ポリシーに従って訓練するビーム認識訓練を用いて、文字列操作タスクでは最先端手法よりも62%高いタスク成功を達成し、従来の手法が失敗するような困難な論理プログラミングタスクではほぼ100%の成功を達成した。

ABSTRACT

Many approaches to program synthesis perform a search within an enormous space of programs to find one that satisfies a given specification. Prior works have used neural models to guide combinatorial search algorithms, but such approaches still explore a huge portion of the search space and quickly become intractable as the size of the desired program increases. To tame the search space blowup, we propose training a neural model to learn a hands-on search policy for bottom-up synthesis, instead of relying on a combinatorial search algorithm. Our approach, called CrossBeam, uses the neural model to choose how to combine previously-explored programs into new programs, taking into account the search history and partial program executions. Motivated by work in structured prediction on learning to search, CrossBeam is trained on-policy using data extracted from its own bottom-up searches on training tasks. We evaluate CrossBeam in two very different domains, string manipulation and logic programming. We observe that CrossBeam learns to search efficiently, exploring much smaller portions of the program space compared to the state-of-the-art.

研究の動機と目的

• プログラム合成における探索空間の指数的増大を軽減するため、効果的な検索方策を学習すること。
• モデルのクエリ頻度が低いか、検索コンテキストを無視する既存の学習-検索手法の改善に寄与すること。
• 実行結果と完全な検索履歴を活用することで、検索中に効率的かつ直接的なニューラルガイダンスを提供すること。
• 自身の検索プロセスからのデータを用いてポリシーに従ってモデルを訓練し、分布シフトの問題を回避すること。
• 文字列操作と帰納的論理プログラミングを含む多様な分野における有効性を示すこと。

提案手法

• CrossBeamは、入力と定数から段階的にプログラムを構築する下向きの列挙的検索戦略を用いる。
• 各ステップで、指標ネットワークがDSL操作を用いて組み合わせる以前に探索済みのプログラムを選択し、ニューラルモデルがその選択をガイドする。
• ニューラルモデルは、過去のプログラムとその実行結果を含む完全な検索コンテキストを入力として受け取り、意思決定を行う。
• ニューラルモデルは、ポリシーに従って検索中に正しいプログラムへの進行度に基づいて損失を計算するビーム認識訓練を用いて訓練される。
• 検索は、探索済みの値の集合を維持し、選択された引数リストに演算を適用することで新しい値を生成する。
• 部分プログラムの実行結果を活用して、動的に探索空間を情報提供し、刈り込む。

実験結果

リサーチクエスチョン

• RQ1 ポリシーに従って訓練されたニューラルモデルは、オフポリシーまたは頻度の低いクエリ手法よりも、下向きプログラム合成における検索をより効果的にガイドできるか？
• RQ2 完全な検索コンテキストと実行結果を組み合わせることで、プログラム合成における検索効率と成功確率が向上するか？
• RQ3 直接的かつ継続的にクエリされるモデルは、有効な分岐要因を低減し、指数的増大を抑制できるか？
• RQ4 困難な合成問題におけるタスクカバレッジと成功確率の観点から、CrossBeamは最先端手法と比べてどのように差をつけるか？
• RQ5 文字列操作や論理プログラミングを含む多様な分野に、このアプローチは一般化可能か？

主な発見

• 文字列操作分野では、同じテストセットで50,000個の候補式を用いた場合、CrossBeamはBustleよりも62%多くのタスクを解決した。
• 大きな解のサイズを有する論理プログラミングタスクでは、CrossBeamはほぼ100%の成功率を達成したが、従来の最先端手法は0%の成功率にとどまった。
• 最先端手法と比較して、CrossBeamは探索するプログラム空間の割合を顕著に削減した。これは、検索効率の向上を示している。
• モデルのポリシーに従った訓練により、トレーニングと推論の間の整合性が向上し、オフポリシー学習で一般的な分布シフトの問題を回避できた。
• 完全なコンテキストと実行フィードバックを活用した下向き検索により、CrossBeamは非最適選択からの回復が可能になり、部分プログラムの効果的な組み合わせが可能になった。
• ベースラインの下向き列挙手法ですら、ILP設定においてMetagol や Popper を上回った。これは、探索戦略がモデル設計と同等に重要である可能性を示唆している。