[論文レビュー] PromptAgent: Strategic Planning with Language Models Enables Expert-level Prompt Optimization

Xinyuan Wang, Chenxi Li+7 more|arXiv (Cornell University)|Oct 25, 2023

Topic Modeling被引用数 5

ひとこと要約

PromptAgentは、モンテカルロ木探索（MCTS）を用いてプロンプト最適化を戦略的計画問題として定式化する画期的なフレームワークであり、専門家レベルのプロンプトを自律的に生成する。モデルの誤りを繰り返し検討し、自己生成されたフィードバックを通じてプロンプトを改善することで、12の多様なNLPタスクにおいて手作業で作成された専門家プロンプトと同等の性能を達成し、Chain-of-Thought や APE といった強力なベースラインを顕著に上回る。

ABSTRACT

Highly effective, task-specific prompts are often heavily engineered by experts to integrate detailed instructions and domain insights based on a deep understanding of both instincts of large language models (LLMs) and the intricacies of the target task. However, automating the generation of such expert-level prompts remains elusive. Existing prompt optimization methods tend to overlook the depth of domain knowledge and struggle to efficiently explore the vast space of expert-level prompts. Addressing this, we present PromptAgent, an optimization method that autonomously crafts prompts equivalent in quality to those handcrafted by experts. At its core, PromptAgent views prompt optimization as a strategic planning problem and employs a principled planning algorithm, rooted in Monte Carlo tree search, to strategically navigate the expert-level prompt space. Inspired by human-like trial-and-error exploration, PromptAgent induces precise expert-level insights and in-depth instructions by reflecting on model errors and generating constructive error feedback. Such a novel framework allows the agent to iteratively examine intermediate prompts (states), refine them based on error feedbacks (actions), simulate future rewards, and search for high-reward paths leading to expert prompts. We apply PromptAgent to 12 tasks spanning three practical domains: BIG-Bench Hard (BBH), as well as domain-specific and general NLP tasks, showing it significantly outperforms strong Chain-of-Thought and recent prompt optimization baselines. Extensive analyses emphasize its capability to craft expert-level, detailed, and domain-insightful prompts with great efficiency and generalizability.

研究の動機と目的

• 深く分野特化した知識と洗練された指示を統合した専門家レベルのプロンプトの自動作成を目的とする。
• ヒューリスティックな探索に依存し、専門家品質のプロンプト構造に到達できない既存のプロンプト最適化手法の限界を解決することを目的とする。
• プロンプト最適化を計画問題としてモデル化することで、膨大なプロンプト空間における自律的かつ戦略的な探索を可能とすることを目的とする。
• 人間の介入なしに、詳細で構造的かつ分野特化した洞察を含むプロンプトを生成することで、多様なNLPタスクにおける性能を向上させることを目的とする。
• 大規模言語モデル（LLM）が誤りの分析と自己裏返しを通じて、専門家の人間の行動を模倣してプロンプトを自律的に改善できることを示すこと

提案手法

• モンテカルロ木探索（MCTS）を用いて、プロンプト空間を効率的に探索する戦略的計画問題としてプロンプト最適化を再定式化する。
• 各プロンプトを木の状態とみなし、誤りフィードバックに基づくプロンプトの改善をアクションとして扱う。
• モデルの予測を分析し、乖離を特定することで、建設的な誤りフィードバックを自己裏返しによって生成する。
• 将来の報酬をシミュレートして探索をガイドし、報酬を逆伝播させてプロンプト品質の信念推定値を更新する。
• 初期段階で人間が作成したプロンプトから出発し、誤りに基づく改善と前方探索計画を繰り返し適用することで、段階的に改善する。
• タスクの説明、例外処理、フォーマットなど、段階的な改善を通じて分野固有のインサイトと構造的複雑性を統合する。

実験結果

リサーチクエスチョン

• RQ1 LLMは人間の介入なしに、手作業で作成された品質に匹敵またはそれを上回る専門家レベルのプロンプトを自律的に生成できるか？
• RQ2 MCTSのような計画ベースのアプローチは、複雑で高次元の専門家レベルのプロンプト空間を効果的にナビゲートできるか？
• RQ3 モデルの誤りに対する自己裏返しが、生成されるプロンプトの質と深さをどのように向上させるか？
• RQ4 この手法は、多様なNLPタスクや分野にどの程度一般化可能か？
• RQ5 戦略的計画フレームワークは、ヒューリスティック的または勾配ベースのプロンプト最適化ベースラインを上回るか？

主な発見

• CBタスクにおいて、PromptAgentはテスト精度0.886を達成し、人間が作成したプロンプト（0.742）とAPE（0.834）を顕著に上回った。
• CBタスクでは、PromptAgentが0.911の精度を達成し、APEベースライン（0.8036）を上回り、優れた推論構造と明確さを示した。
• この手法は、タスクの説明、用語の明確化、解決策のガイダンス、例外処理、フォーマットなどを含む、複雑な専門家レベルのプロンプト構造を自動で発見した。
• PromptAgentは、BIG-Bench Hard、分野特化型、一般NLPベンチマークにおける12の多様なタスクで、Chain-of-Thought や APE といった強力なベースラインを一貫して上回った。
• 自己裏返しによる誤りの分析を通じて、分野特化したインサイトと洗練された指示を効果的に誘導し、専門家のプロンプト作成行動を模倣した。
• 広範なアブレーションと分析の結果、誤りフィードバックと前方探索計画がこの手法の成功に不可欠であることが確認され、これらの要素を削除すると性能が著しく低下した。