[論文レビュー] Efficient Prompting Methods for Large Language Models: A Survey

Kaiyan Chang, Songcheng Xu+5 more|arXiv (Cornell University)|Apr 1, 2024

Topic Modeling被引用数 14

ひとこと要約

この調査は、LLMの効率的なプロンプト作成手法を、計算ベースのプロンプト圧縮（知識蒸留、エンコーディング、フィルタリング）とデザインベースの自動プロンプト最適化（勾配ベースと進化ベース）に分類し、効率的なプロンプト作成を多目的最適化問題として位置づける。

ABSTRACT

Prompting is a mainstream paradigm for adapting large language models to specific natural language processing tasks without modifying internal parameters. Therefore, detailed supplementary knowledge needs to be integrated into external prompts, which inevitably brings extra human efforts and computational burdens for practical applications. As an effective solution to mitigate resource consumption, Efficient Prompting Methods have attracted a wide range of attention. We provide mathematical expressions at a high level to deeply discuss Automatic Prompt Engineering for different prompt components and Prompt Compression in continuous and discrete spaces. Finally, we highlight promising future directions to inspire researchers interested in this field.

研究の動機と目的

• LLMsにおけるプロンプトの概念と課題を紹介する.
• 効率的なプロンプト手法を計算志向と設計志向のアプローチに分類する.
• プロンプト圧縮技術（知識蒸留、エンコーディング、フィルタリング）を分析する.
• 自動プロンプト最適化手法（勾配ベースと進化ベース）を検討する.
• 効率的なプロンプトの今後の方向性と多目的最適化としての理論的枠組みを議論する.

提案手法

• 二つの主な分岐に分けて既存の効率的プロンプト手法をレビューし分類する: 計算重視のプロンプト（プロンプト圧縮）と設計重視のプロンプト（自動プロンプト最適化).
• 圧縮の内部では、知識蒸留、エンコーディング、フィルタリングの技術を代表的な研究と目的関数とともに要約する.
• 設計の内部では、勾配ベースの方法（実勾配チューニング、閉モデルでの勾配の模倣）と模倣/進化ベースの方法（勾配の模倣、GrIPS、APE、EvoPrompt など）を要約する.
• 効率的プロンプト作成を、圧縮とタスク精度のバランスをとる多目的最適化問題として抽象化する.
• 実用的視点と今後の方向性、ハードプロンプトとソフトプロンプトの共最適化、情報理論的フィルタリングを含む理論的観点を論じる.

実験結果

リサーチクエスチョン

• RQ1 LLMのためにプロンプトをより効率的にするカテゴリと技術にはどのようなものがあるか?
• RQ2 タスク性能を損なうことなく、プロンプト内容を圧縮または最適化するにはどうすればよいか?
• RQ3 プロンプト圧縮手法とプロンプト設計最適化手法の間のトレードオフは何か?
• RQ4 効率的なプロンプトは理論的にどのように多目的最適化問題として定式化できるか?
• RQ5 圧縮と設計をプロンプティングで統一する将来の方向性は何か?

主な発見

• プロンプト効率は、圧縮（テキスト-to-ベクトルおよびテキスト-to-テキストのアプローチ）と自動プロンプト設計の両方で改善できる.
• 知識蒸留は、ソフトプロンプトへプロンプト情報を圧縮するが、教師モデルとデータ合成に依存する.
• エンコーディングは、プロンプトを学習されるベクトルとして扱い、コンパクトな表現と検索に適したプロンプトを可能にする.
• フィルタリングは、情報量を測定して有用な成分のみを保持することでプロンプト内容を削減し、メモリと速度を支援する.
• 勾配ベースのプロンプト最適化は、空間を連続表現に変換するか、閉モデルを使用する場合には模倣によって離散プロンプトを改善することを可能にする.
• 進化的および模倣ベースの手法は、直接勾配なしでプロンプト最適化を可能にし、ブラックボックスLLMに適している.