[論文レビュー] GFlowPO: Generative Flow Network as a Language Model Prompt Optimizer

Junmo Cho, Suhan Kim+6 more|arXiv (Cornell University)|Feb 3, 2026

Topic Modeling被引用数 0

ひとこと要約

GFlowPOはプロンプト最適化を事後推論として定式化し、オフポリシーGFlowNet訓練とダイナミックメモリ更新を用いて、さまざまなLMとタスクに対して高報酬プロンプトを効率的に発見する。

ABSTRACT

Finding effective prompts for language models (LMs) is critical yet notoriously difficult: the prompt space is combinatorially large, rewards are sparse due to expensive target-LM evaluation. Yet, existing RL-based prompt optimizers often rely on on-policy updates and a meta-prompt sampled from a fixed distribution, leading to poor sample efficiency. We propose GFlowPO, a probabilistic prompt optimization framework that casts prompt search as a posterior inference problem over latent prompts regularized by a meta-prompted reference-LM prior. In the first step, we fine-tune a lightweight prompt-LM with an off-policy Generative Flow Network (GFlowNet) objective, using a replay-based training policy that reuses past prompt evaluations to enable sample-efficient exploration. In the second step, we introduce Dynamic Memory Update (DMU), a training-free mechanism that updates the meta-prompt by injecting both (i) diverse prompts from a replay buffer and (ii) top-performing prompts from a small priority queue, thereby progressively concentrating the search process on high-reward regions. Across few-shot text classification, instruction induction benchmarks, and question answering tasks, GFlowPO consistently outperforms recent discrete prompt optimization baselines.

研究の動機と目的

• 組合せ的なプロンプト空間とスパース報酬のため、自動的なプロンプト最適化を動機付ける。
• プロンプト探索をメタプロンプト事前分布で正則化した事後推論として定式化する。
• プロンプティングのためのサンプル効率の良いオフポリシーGFlowNet訓練 regimeを開発する。
• 高報酬領域へ検索を適応的に集約するDynamic Memory Update (DMU)を導入する。
• 多様なタスクとLM組み合わせに対して頑健性を実証する。

提案手法

• D(z|D,M)に比例するプロンプトp(z|D,M)の事後分布を定義する（p(D|z) p_ref(z|M) に比例）。
• リプレイベースのポリシーを用いたオフポリシーGFlowNet目標で軽量プロンプト-LMをファインチューニングする。
• GFlowNet訓練にはVarGradベースのグローバルパス整合性損失をリプレイバッファ採取と共に用いる。
• テスト性能との相関を高めるため、尤度を訓練精度A_D(z)に置換する。
• メタプロンプトMをDynamic Memory Updateで更新し、リプレイバッファからのプロンプトと小さな高報酬バッファを混合する。
• テキスト分類、指示誘導、質問応答の複数のプロンプト-LM/ターゲット-LMペアで評価する。

Figure 1 : Concepts. Blue contour indicates high performing prompt regions. (a) Existing on-policy RL frameworks fail to explore the huge combinatorial search space with poor sample efficiency. (b) Our GFlowPO that can sample efficiently explore the search space by gradually annealing the posterior

実験結果

リサーチクエスチョン

• RQ1 プロンプト探索をメタプロンプト事前分布の下での事後推論として効果的に再現できるか。
• RQ2 オフポリシーGFlowNet訓練は、オンポリシーRL法と比較して高報酬プロンプト発見のサンプル効率を改善するか。
• RQ3 訓練不要なDynamic Memory Update (DMU)は繰り返しで高報酬領域へ探索を効果的に集中させるか。
• RQ4 多様なタスクとLM組み合わせにおいて、few-shotおよび指示誘導設定でGFlowPOはどういう性能を示すか。

主な発見

Method	SST-2	MRPC	RTE	QNLI	MNLI	SNLI	Average
Fine-Tuning	71.9	59.6	55.7	63.1	41.1	64.8	59.3
Soft prompt tuning	78.3	57.1	51.6	89.0	34.9	55.8	61.1
Fixed prompt Manual Prompt	89.1	51.0	64.0	73.0	67.0	47.0	65.2
Zero-shot CoT	57.9	38.4	81.6	75.2	71.1	66.3	65.1
Few-shot prompt	55.0	49.0	76.0	82.0	58.0	52.2	62.0
Discrete Prompt Tuning GrIPS	84.7 ± 4.6	55.6 ± 2.6	60.9 ± 3.5	28.9 ± 1.2	44.4 ± 1.1	63.5 ± 2.3	59.4
PromptBoosting	65.4 ± 1.0	52.7 ± 1.1	71.6 ± 0.9	71.6 ± 1.1	35.5 ± 1.4	52.6 ± 1.8	58.2
APE	83.2 ± 7.7	55.3 ± 4.9	78.6 ± 1.3	75.0 ± 2.2	54.6 ± 7.9	72.3 ± 4.8	70.1
ProTeGi	69.2 ± 8.4	48.8 ± 1.3	73.2 ± 6.3	74.2 ± 7.7	56.6 ± 10.9	61.3 ± 12.3	64.0
RLprompt	70.8 ± 6.5	56.0 ± 1.5	67.3 ± 2.5	62.6 ± 1.3	54.6 ± 1.9	56.6 ± 1.3	61.3
StablePrompt	92.5 ± 1.3	71.3 ± 3.4	81.5 ± 2.8	75.9 ± 1.4	63.3 ± 1.2	74.1 ± 1.4	76.4
GFlowPO	93.0 ± 0.6	69.6 ± 4.2	82.0 ± 2.5	80.2 ± 3.4	68.7 ± 3.2	78.6 ± 2.7	78.7

• GFlowPOは六つのfew-shotテキスト分類データセットにおいて、報告TABLE 1の比較で最も高い平均精度を達成した。
• GFlowPOはSST-2、RTE、SNLIでベースラインを上回り、QNLIとSNLIではタスク/LMペア間で競合または最良の成績を示した。
• 指示誘導およびBBIIタスク全般で、テキスト生成タスクを含む厳密なトークン一致を要するタスクでも、平均精度でベースラインを一貫して上回った。
• QAタスク（MMLUおよびOpenBookQA）では、OpenBookQAスコアで最高、MMLU結果も競合的。
• アブレーション実験でオフポリシー訓練とDMUの両方が加法的に寄与し、DMUはオフポリシー学習と組み合わせた場合に顕著な利得をもたらした。
• 訓練精度曲線は、GFlowPOがStablePromptよりも高報酬プロンプトをより効率的に発見することを示している。

Figure 2 : GFlowPO pipeline. The optimizer prompt-LM samples prompts conditioned on meta-prompt $M$ , the target LLM provides rewards, and off-policy GFlowNet training plus Dynamic Memory Update (DMU) iteratively improves exploration and prompt quality.