[論文レビュー] Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL

Hao Sun, Hüyük, Alihan+1 more|arXiv (Cornell University)|Sep 13, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文では、オンラインLLM推論を伴わずに、大規模言語モデル（LLM）における算術推論のための最適なプロンプトを評価・選択するための、オффライン逆強化学習を用いたクエリ依存のプロンプト最適化フレームワーク、Prompt-OIRLを提案する。ベンチマーク済みプロンプトからのオフラインのデモンストレーションデータを活用することで、クエリ-プロンプトペアのスコアを推定する報酬モデルを学習し、複数のLLMおよびデータセットにおいて、コスト効率が良く、高精度なベストオブN戦略によるプロンプト選択を可能にする。

ABSTRACT

In this study, we aim to enhance the arithmetic reasoning ability of Large Language Models (LLMs) through zero-shot prompt optimization. We identify a previously overlooked objective of query dependency in such optimization and elucidate two ensuing challenges that impede the successful and economical design of prompt optimization techniques. One primary issue is the absence of an effective method to evaluate prompts during inference when the golden answer is unavailable. Concurrently, learning via interactions with the LLMs to navigate the expansive natural language prompting space proves to be resource-intensive. To address this, we introduce Prompt-OIRL, which harnesses offline inverse reinforcement learning to draw insights from offline prompting demonstration data. Such data exists as by-products when diverse prompts are benchmarked on open-accessible datasets. With Prompt-OIRL, the query-dependent prompt optimization objective is achieved by first learning an offline reward model. This model can evaluate any query-prompt pairs without accessing LLMs. Subsequently, a best-of-N strategy is deployed to recommend the optimal prompt. Our experimental evaluations across various LLM scales and arithmetic reasoning datasets underscore both the efficacy and economic viability of the proposed approach.

研究の動機と目的

• 正解の答えが入手できない状況下で、推論時にプロンプトの有効性を評価する課題に対処すること。
• 試行錯誤による探索で多数のLLM推論呼び出しが必要となるため、オンラインプロンプト最適化のコストが非常に高くなるという問題を克服すること。
• 最適なプロンプトは入力クエリごとに異なることを認識し、クエリ依存のプロンプト最適化の目的関数を導入すること。
• ベンチマーク実験中に副産物として生成された、既存のオフラインプロンプトデータセットを活用し、プロンプト最適化のための訓練データとして体系的に活用すること。
• 多様なLLMにおいて算術推論タスクの高パフォーマンスなプロンプトを特定する、コスト効率が良くスケーラブルな手法を開発すること。

提案手法

• オープンアクセスの算術推論データセット上で多様なプロンプトのベンチマーク実験から得られた、事前収集済みのデモンストレーションデータを、エキスパートの軌道として活用する。
• 推論時にLLMにアクセスせずに、クエリ-プロンプトペアの質を推定する報酬モデルを、逆強化学習を用いてオフラインで訓練する。
• 各アクションが自然言語プロンプトであるとみなす、逐次的意思決定問題としてプロンプト最適化問題を定式化する。
• 推論時に、学習済みの報酬モデルに基づいてスコアが最も高いプロンプトを選択するためのベストオブNサンプリング戦略を適用する。
• 算術推論タスクの構造を活用し、クエリの文脈とプロンプトの特徴を表現する状態表現を定義する。
• 同じデータセット上で多様なプロンプトバリアントを学習することで、クエリ固有のパフォーマンスパターンを捉え、報酬モデルがクエリ間で一般化できるようにする。

実験結果

リサーチクエスチョン

• RQ1 オンラインLLM相互作用を伴わず、オフライン逆強化学習がクエリ依存プロンプト評価のための報酬モデルを効果的に学習できるか。
• RQ2 異なるLLMにおいて、Prompt-OIRLの精度とコスト効率は、標準的なプロンプト選択手法と比べてどの程度優れているか。
• RQ3 クエリ依存のプロンプト最適化は、クエリに依存しないアプローチと比較して、算術推論の精度をどの程度向上させるか。
• RQ4 追加のアノテーションやLLM呼び出しを伴わず、既存のオフラインプロンプトデータセットを効果的にプロンプト最適化に再利用できるか。
• RQ5 本手法は、異なるLLMのスケールや算術推論ベンチマークに対して、どの程度頑健であるか。

主な発見

• Prompt-OIRLは、最適化中に追加のLLM推論を一切行わず、複数のLLM（例：GPT-3.5-turbo、Llama-2）において算術推論の精度を顕著に向上させた。
• 本手法は、オンラインの試行錯誤アプローチと比較して、プロンプト最適化のコストを90％以上削減した。これは、事前に収集済みのオフラインデータに依存するからである。
• クエリ依存の最適化目的関数により、分布レベルの最適化よりも優れたパフォーマンスが得られ、SVAMPおよびMAWPSベンチマークでは最大12％の精度向上が達成された。
• 学習済みの報酬モデルは、異なるLLMや算術推論タスクにわたって良好に一般化しており、プロンプト品質の信号の転送性を示した。
• 報酬モデルを用いたベストオブN推論により、追加コストを最小限に抑えながらほぼ最適な性能が達成された。これにより、選択戦略の有効性が裏付けられた。
• 既存のオフラインデータセットをエキスパートのデモンストレーションの源として効果的に活用し、新たなデータ収集を伴わずに体系的なプロンプト最適化を実現した。