[論文レビュー] PRompt Optimization in Multi-Step Tasks (PROMST): Integrating Human Feedback and Heuristic-based Sampling

Yongchao Chen, Jacob Arkin+4 more|arXiv (Cornell University)|Feb 13, 2024

Complex Systems and Decision Making被引用数 4

ひとこと要約

PROMST は、多段階 LLM によるタスクにおける自動プロンプト最適化のための新規フレームワークであり、人間が設計したフィードバックルールと学習済みスコア予測モデルを組み合わせて、効率的な候補生成を支援する。11の多段階タスクにおいて、多様な LLM を用いて、ベースラインと比較して 10.6% ～ 29.3% の相対的な性能向上を達成した。

ABSTRACT

Prompt optimization aims to find the best prompt to a large language model (LLM) for a given task. LLMs have been successfully used to help find and improve prompt candidates for single-step tasks. However, realistic tasks for agents are multi-step and introduce new challenges: (1) Prompt content is likely to be more extensive and complex, making it more difficult for LLMs to analyze errors, (2) the impact of an individual step is difficult to evaluate, and (3) different people may have varied preferences about task execution. While humans struggle to optimize prompts, they are good at providing feedback about LLM outputs; we therefore introduce a new LLM-driven discrete prompt optimization framework PRompt Optimization in Multi-Step Tasks (PROMST) that incorporates human-designed feedback rules to automatically offer direct suggestions for improvement. We also use an extra learned heuristic model that predicts prompt performance to efficiently sample from prompt candidates. This approach significantly outperforms both human-engineered prompts and several other prompt optimization methods across 11 representative multi-step tasks (an average 10.6\%-29.3\% improvement to current best methods on five LLMs respectively). We believe our work can serve as a benchmark for automatic prompt optimization for LLM-driven multi-step tasks. Datasets and Codes are available at https://github.com/yongchao98/PROMST. Project Page is available at https://yongchao98.github.io/MIT-REALM-PROMST.

研究の動機と目的

• 標準的手法が長さや誤りの複雑さのため、複雑で多段階のエージェントタスクにおける自動プロンプト最適化の課題に対処すること。
• 事前に定義されたフィードバックルールを通じて人間の専門知識をプロンプト最適化に統合し、LLM が改善されたプロンプトを生成するのを支援すること。
• スコア予測モデルを訓練して、有望なプロンプト候補をヒューリスティックに選別することで、高コストな評価のオーバーヘッドを削減すること。
• ルールベースの評価基準を通じて、最適化されたプロンプトを人間の好みに一致させること。
• オープンソースのデータセットとコードを提供することで、多段階環境における自動プロンプト最適化のベンチマークを確立すること。

提案手法

• フレームワークは、多段階環境で動作する TaskLLM を使用し、事前条件が満たされない場合に失敗する。
• 人間が設計したフィードバックルールが、各失敗に対して自動的に是正フィードバックを生成し、それを PromptLLM が新しいプロンプト候補を生成するためのコンテキストとして使用する。
• スコア関数が環境上で各プロンプトのパフォーマンスを評価し、トレーニング用にラベル付きのプロンプト-スコアペアを生成する。
• これらのペアを用いてオンラインで微調整された学習済みスコア予測モデルが、プロンプトの質を予測し、候補サンプリングをガイドする。
• スコアモデルを用いて有望な候補を優先的に評価することで、世代ごとに段階的にプロンプトを進化させる。
• フィードバックルールは、正しさの確保、ループの回避、目的の整合性、アクションフォーマットの一貫性を維持することを目的として設計されている。

実験結果

リサーチクエスチョン

• RQ1 人間が設計したフィードバックルールは、多段階タスクにおける LLM が改善されたプロンプトを生成するのを効果的にガイドできるか？
• RQ2 学習済みスコア予測モデルを統合することで、プロンプト最適化の効率性と有効性はどのように向上するか？
• RQ3 PROMST は、人間が設計したプロンプトや既存の自動プロンプト最適化手法と比較して、多段階設定でどの程度優れているか？
• RQ4 ルールベースの評価基準は、最適化されたプロンプトを人間の好みに一致させるのに役立つか？
• RQ5 PROMST は、動的プロンプティング戦略と組み合わせて使用可能で、効果的か？

主な発見

• PROMST は、11 の多段階タスクにおいて、5 つの LLM を用いて、最良のベースライン手法と比較して 10.6% ～ 29.3% の相対的なパフォーマンス向上を達成した。
• 人間が設計したフィードバックルールと学習済みスコアモデルの統合は、人間が設計したプロンプトや既存の自動最適化技術をはるかに上回る性能を示した。
• PROMST は、特に動的プロンプティングアプローチと組み合わせた際、複数試行設定において優れたパフォーマンスを発揮した。
• 人間が設計した評価ルールは、最適化されたプロンプトを人間の好みに一致させるのに効果的であり、タスクの成功確率と一貫性を向上させた。
• このフレームワークは、既存の動的プロンプティング戦略と直交的であり、互換性があり、それらの有効性を高めた。
• 著者らは、11 の多段階環境のすべてのデータセットとコードを公開し、今後の自動プロンプト最適化分野における研究のためのベンチマークを確立した。