[論文レビュー] Black-Box Prompt Optimization: Aligning Large Language Models without Model Training

Jiale Cheng, Xiao Liu+6 more|arXiv (Cornell University)|Nov 7, 2023

Topic Modeling被引用数 7

ひとこと要約

本稿では、モデルの微調整や学習を一切行わずに、大規模言語モデル（LLMs）を人間の好みに合わせるためのブラックボックスプロンプト最適化（BPO）を提案する。フィードバックデータとシーケンス・ツー・シーケンスモデルを用いて自動的にユーザーのプロンプトを再書き換えすることで、BPOは応答品質と整合性を向上させ、GPT-3.5-turboでは最大22%、GPT-4では10%の勝率向上を達成し、PPO や DPO を上回る性能を示した。この手法はモデルに依存せず、解釈可能である。

ABSTRACT

Large language models (LLMs) have shown impressive success in various applications. However, these models are often not well aligned with human intents, which calls for additional treatments on them; that is, the alignment problem. To make LLMs better follow user instructions, existing alignment methods primarily focus on further training them. However, the extra training of LLMs is usually expensive in terms of GPU computing; even worse, some LLMs are not accessible for user-demanded training, such as GPTs. In this work, we take a different perspective -- Black-Box Prompt Optimization (BPO) -- to perform alignments. The idea is to optimize user prompts to suit LLMs' input understanding, so as to best realize users' intents without updating LLMs' parameters. BPO leverages human preferences to optimize prompts, thus making it superior to LLM (e.g., ChatGPT) as a prompt engineer. Moreover, BPO is model-agnostic, and the empirical results demonstrate that the BPO-aligned ChatGPT yields a 22% increase in the win rate against its original version and 10% for GPT-4. Notably, the BPO-aligned LLMs can outperform the same models aligned by PPO and DPO, and it also brings additional performance gains when combining BPO with PPO or DPO. Code and datasets are released at https://github.com/thu-coai/BPO.

研究の動機と目的

• モデルの微調整や重みへのアクセスがなく、人間の意図に合わせたLLMの整合性を図る課題に対処すること。
• モデルに依存せず、効率的かつ解釈可能な方法として、プロンプト最適化によるLLMの整合性向上を実現すること。
• GPT-4 や Claude-2 などの閉鎖型LLMを、プロンプトの再書き換えによって整合化可能にすること。これにより、学習に基づく手法の制限を克服すること。
• 強化学習に基づく整合化手法（PPO や DPO など）を上回るか、それらと併用可能なプロンプト最適化の有効性を示すこと。
• パラメータベースの整合化手法の代替として、スケーラブルかつ解釈可能であり、APIベースやオープンソースのモデルを含む多様なLLMに適用可能な代替手法を提供すること。

提案手法

• BPOは、公開済みの好みデータセットから得た14,000組のインstruct-最適化ペアを用いて、プロンプト最適化モデルを構築する。
• LLMを用いて応答ペア（好ましい vs. 不好ましい）を分析し、差異を特定。その後、整合性を向上させる要因を組み込んだ洗練されたプロンプトを生成する。
• LLMをブラックボックスとして扱い、モデルパラメータの変更ではなく、入力プロンプトの最適化に焦点を当てる。
• 元のユーザーのプロンプトを最適化されたバージョンにマッピングするためのシーケンス・ツー・シーケンスモデルを学習する。
• フィードバック解析から得られる最適化戦略として、説明生成、プロンプトの詳細化、ヒントの提示、セーフティ強化が含まれる。
• Vicuna Eval や Self-Instruct Eval、Dolly Eval といったペairwise人間の好みベンチマークを用いて、アプローチの評価を実施する。

Figure 1: (Upper) Two directions of LLM alignment: Black-box Prompt Optimization ( BPO ) and Learning from Feedback (PPO, DPO). BPO offers a conceptually new perspective to bridge the gap between humans and LLMs. (Lower) On Vicuna Eval’s pairwise evaluation, we show that BPO further aligns gpt-3.5-t

実験結果

リサーチクエスチョン

• RQ1 モデルの微調整やパラメータ更新なしに、プロンプト最適化のみでLLMの整合性を顕著に向上させることができるか？
• RQ2 GPT-4 や Claude-2 といった閉鎖型モデルにおいて、BPOはPPO や DPO といった既存の整合化手法と比較してどの程度の性能を示すか？
• RQ3 BPOは、オープンソースおよびAPIベースのモデルを含む多様なLLMアーキテクチャにどの程度一般化可能か？
• RQ4 応答品質と人間の好みを一貫して向上させるために、最も効果的なプロンプト最適化戦略は何か？
• RQ5 BPOは、既存の整合化手法と組み合わせることで、さらにモデルの整合性を向上させることができるか？

主な発見

• BPOは、GPT-3.5-turboで22%、GPT-4で10%の勝率向上を達成し、PPO や DPO を上回る性能を示した。
• BPOで最適化されたモデルは、すでに微調整済みのPPO や DPO モデルを上回る性能を示した。
• BPOはPPO や DPO と組み合わせることで、さらに整合性の向上が見られ、直交的な改善効果を示した。
• BPOは、Vicuna や Llama-2 といったオープンソースモデル、GPT-4 や Claude-2 といった閉鎖型モデルに対しても、モデルへのアクセスや学習なしに整合性を向上させた。
• 説明生成、詳細化、ヒントの提示、セーフティ強化といったプロンプト最適化戦略は、応答品質と制御性の両面で顕著な向上をもたらした。
• エラー解析から、長文や数学関連のプロンプトの処理に限界が見られ、トレーニングデータの不均衡が要因であることが判明。より多様なデータセットを用いることでさらなる改善が可能であると示唆された。

Figure 2: BPO consists of three main steps: collecting feedback data (we adopt open-sourced feedback data), constructing prompt optimization pairs based on the feedback data, and building a prompt optimization model using these pairs. In this way, BPO serves as a translator between human and AI, by