[論文レビュー] SPELL: Semantic Prompt Evolution based on a LLM

Yujian Li, Kai Wu|arXiv (Cornell University)|Oct 2, 2023

Topic Modeling被引用数 5

ひとこと要約

SPELLは、大規模言語モデル（LLM）を意味的テキスト生成者として活用し、進化的計算によって一貫性があり高パフォーマンスなプロンプトを進化させるブラックボックスのプロンプト最適化手法を提案する。LLMを用いて再結合と選択を通じて流れ自然でグローバルに最適化されたプロンプトを生成することで、SPELLは顕著な性能向上を達成し、例えばSST-2で89.2%の正確性を達成した。同時に、文の流れを保ちつつ、他のブラックボックス手法よりも少ないラウンド数で優れた性能を発揮した。

ABSTRACT

Prompt engineering is a new paradigm for enhancing the performance of trained neural network models. For optimizing text-style prompts, existing methods usually individually operate small portions of a text step by step, which either breaks the fluency or could not globally adjust a prompt. Since large language models (LLMs) have powerful ability of generating coherent texts token by token, can we utilize LLMs for improving prompts? Based on this motivation, in this paper, considering a trained LLM as a text generator, we attempt to design a black-box evolution algorithm for automatically optimizing texts, namely SPELL (Semantic Prompt Evolution based on a LLM). The proposed method is evaluated with different LLMs and evolution parameters in different text tasks. Experimental results show that SPELL could rapidly improve the prompts indeed. We further explore the evolution process and discuss on the limitations, potential possibilities and future work.

研究の動機と目的

• 既存のプロンプト最適化手法がローカルにプロンプトを変更するための制限と文の流れの劣化を解決すること。
• 大規模言語モデル（LLM）が、高品質で一貫性のあるプロンプトを進化させるために効果的な生成者として機能できるかを検討すること。
• 勾配アクセスが不要なブラックボックスの進化的フレームワークを構築し、ターゲットモデルのパラメータにアクセスせずにプロンプトを最適化すること。
• 異なるLLMと進化のハイパーパrameterがプロンプト品質とタスクパフォーマンスに与える影響を評価すること。
• 提案された意味的プロンプト進化プロセスの安定性、一貫性、拡張性を分析すること。

提案手法

• SPELLは、プロンプト個体の集団を維持し、再結合と選択のメカニズムを用いて世代ごとに進化させる。
• 再結合は、フィットネスフィードバックに基づいて、事前学習済みLLMに既存のプロンプトを再書き換えまたは改善させるように指示することで、子孫を生成する。
• LLMはテキスト生成者として機能し、全プロンプト文脈をトークン単位でモデル化することで、意味的整合性とグローバル最適化を保証する。
• 選択では、親と子孫の結合集合からフィットネスが高い個体を保持し、バリデーションセットでの正確性をフィットネス指標として用いる。
• この手法はブラックボックス設定で動作し、ターゲットモデルへの推論アクセスのみを必要とし、勾配やパラメータへのアクセスは不要である。
• 進化はT世代にわたり行われ、人口サイズ（N_POP）、選択k、フィットネス関数などのハイパーパrameterを調整することで、探索と活用のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルを意味的生成者として効果的に用いて、一貫性があり高パフォーマンスなプロンプトを進化させることは可能か？
• RQ2 SPELLは、パフォーマンスと収束速度の点で、既存のブラックボックスプロンプト最適化手法と比較してどのように異なるか？
• RQ3 生成者として使用される異なるLLMが、進化したプロンプトの品質と安定性に与える影響は何か？
• RQ4 人口サイズや選択kといった主要なハイパーパrameterが最適化結果に与える影響は何か？
• RQ5 特に不安定性と一貫性の観点から、LLMを用いた意味的プロンプト進化の限界と課題は何か？

主な発見

• SPELLはSST-2ベンチマークで89.2%の正確性を達成し、ゼロショット設定でBBT（88.2%）やRLPrompt（90.5%）を上回った。
• ベースラインのブラックボックス手法よりも著しく少ない最適化ラウンド数で、5トークンプロンプトの場合では3,000ラウンド未満で収束した。これは、急速な収束を示している。
• ターゲットモデルの正確性をフィットネス関数として用いることで、交差エントロピー損失を用いる場合よりも優れた結果が得られた。これは、LLMが損失信号を効果的に解釈できない可能性を示唆している。
• より大規模で能力の高いLLM（例：ERNIE-Bot や Llama2-13B）を生成者として用いることで、BLOOMZのような小規模または適合性の低いモデルよりも、より高いパフォーマンスのプロンプトが得られた。
• 人口サイズと選択kには明確な影響があった。人口が小さすぎたり大きすぎたりすると性能が低下し、最適なバランスはN_POP=20とk=16で達成された。
• 生成のランダムネスによるパフォーマンスの変動が見られたが、進化したプロンプトは意味的整合性と流暢さを保ち続けた。例として、'この文のセンチメントを私に判定できますか？' といったプロンプトが挙げられる。