[論文レビュー] HYSYNTH: Context-Free LLM Approximation for Guiding Program Synthesis

Shraddha Barke, Emmanuel Anaya Gonzalez+3 more|arXiv (Cornell University)|May 24, 2024

Parallel Computing and Optimization Techniques被引用数 5

ひとこと要約

HYSYNTH は LLM の補完を用いて文脈自由な代替モデル（PCFG）を学習し、それがボトムアップのプログラム合成器を導く。 Arc、Tensor、String のタスク全体で、ガイドなし検索、LLM のみサンプリング、およびドメインベースラインよりも性能を向上させる。

ABSTRACT

Many structured prediction and reasoning tasks can be framed as program synthesis problems, where the goal is to generate a program in a domain-specific language (DSL) that transforms input data into the desired output. Unfortunately, purely neural approaches, such as large language models (LLMs), often fail to produce fully correct programs in unfamiliar DSLs, while purely symbolic methods based on combinatorial search scale poorly to complex problems. Motivated by these limitations, we introduce a hybrid approach, where LLM completions for a given task are used to learn a task-specific, context-free surrogate model, which is then used to guide program synthesis. We evaluate this hybrid approach on three domains, and show that it outperforms both unguided search and direct sampling from LLMs, as well as existing program synthesizers.

研究の動機と目的

• ドメイン固有 DSL に対する LLM の精度制限を克服するためのハイブリッドなプログラム合成の動機付け。
• LLM の補完から学習した文脈自由の代替モデルを提案し、それを用いてボトムアップ探索を導く。
• Arc のグリッドパズル、テンソル操作、文字列操作の領域でアプローチを具体化・評価する。
• LLM ガイド付き合成がベースラインよりも効率と成功率を改善することを示す。

提案手法

• 与えられた DSL とタスクに対して LLM から補完をサンプルし、候補プログラムの集合を収集する。
• 補完をプログラム集合に解析し、最大尤度法（平滑化あり）でPCFGを学習して LLM 分布を近似する。
• PCFG を重み付き CFG に変換し、コストが増加する順にプログラムを列挙するボトムアップ探索を導く。
• サブ表現を再利用し、評価結果をキャッシュして観察的に同等なプログラムを剪定するボトムアップ探索アルゴリズムを用いる。
• Arc では、検索を加速するために変換とフィルタを別々に合成する分割統治戦略を適用する。
• ベースライン（ドメインソルバー Arga、Probe、TFCoder）およびアブレーション（no search、unguided search）と比較する。

(a) Arc

実験結果

リサーチクエスチョン

• RQ1 LLM の補完から学習した文脈自由の代替モデルは、複数の DSL ドメインで効果的にボトムアップのプログラム合成を導くことができるか？
• RQ2 LLM ガイド付き PCFG の重み付けは、ガイドなし探索および純粋な LLM サンプリングと比較して探索効率と成功率にどう影響するか？
• RQ3 Arc、Tensor、String のタスクに HYSYNTH を適用する際のドメイン特有の利点と制約は何か？

主な発見

• ハイブリッド手法は全体で299タスク中58%を解決し、ガイドなし探索（40%）および探索なしのLLM（2%）を上回る。
• Arc、Tensor、String では、それぞれ Arga、TFCoder、Probe というドメインベースラインを上回る。
• LLM ガイド付き PCFG は探索空間を削減できる（例: 動機づけとなる Arc の例で 450K プログラムを約 220K に削減）、LLM の指導下で約1分で解を得ることを可能にする。
• Tensor ドメインでは、LLM の指導が探索を高速化するだけでなく、ユーザーが提供した非標準定数の必要性を排除する。
• 100 の LLM サンプルを用いて PCFG を学習することは、ドメインを跨いで強い性能を提供し、サンプル数が少なくてもベースラインを上回る。
• 全体として、HYSYNTH はタスク特化の文脈自由近似が LLM の直感を活用しつつ、効率的なボトムアップ探索を維持できることを示している。

(b) Tensor