[論文レビュー] The Prompt Report: A Systematic Survey of Prompt Engineering Techniques

Sander Schulhoff, Michael Ilie+29 more|arXiv (Cornell University)|Jun 6, 2024

Artificial Intelligence in Healthcare and Education被引用数 72

ひとこと要約

本論文は prompting 技術の体系的なサーベイを提供し、58のテキストベースおよび40のマルチモーダル prompting 手法の分類体系と、33語の語彙を構築し、PRISMAベースの文献調査を用いている。

ABSTRACT

Generative Artificial Intelligence (GenAI) systems are increasingly being deployed across diverse industries and research domains. Developers and end-users interact with these systems through the use of prompting and prompt engineering. Although prompt engineering is a widely adopted and extensively researched area, it suffers from conflicting terminology and a fragmented ontological understanding of what constitutes an effective prompt due to its relatively recent emergence. We establish a structured understanding of prompt engineering by assembling a taxonomy of prompting techniques and analyzing their applications. We present a detailed vocabulary of 33 vocabulary terms, a taxonomy of 58 LLM prompting techniques, and 40 techniques for other modalities. Additionally, we provide best practices and guidelines for prompt engineering, including advice for prompting state-of-the-art (SOTA) LLMs such as ChatGPT. We further present a meta-analysis of the entire literature on natural language prefix-prompting. As a culmination of these efforts, this paper presents the most comprehensive survey on prompt engineering to date.

研究の動機と目的

• prompting研究と実践のための構造化され、広く利用可能な語彙を確立する。
• テキストおよび他のモダリティ全体にわたる prompting 手法の包括的な分類法を作成する。
• 文献における prompting アプローチの発展と使用パターンを要約する。

提案手法

• arXiv、Semantic Scholar、 ACL から prompting に関する文献を収集するため、PRISMAベースの体系的レビューを実施する。
• prompting 技術の分類（58のテキストベース、40のマルチモーダル）と33語の語彙を作成する。
• ベンチマーク、マルチリンガルおよびマルチモーダル環境、エージェントや評価フレームワークなどの prompting の拡張を横断して知見を総合する。

Figure 1.1: Categories within the field of prompting are interconnected. We discuss 7 core categories that are well described by the papers within our scope.

実験結果

リサーチクエスチョン

• RQ1 GenAI 研究におけるプロンプトを定義する中核的な要素と用語は何か？
• RQ2 どのような prompting 手法が存在し、それらを堅牢な分類体系にどのようにカテゴライズできるか？
• RQ3 prompting 手法は言語やモダリティを横断してどのように適用され、どのような拡張（エージェント、評価）が存在するのか？
• RQ4 prompting における一般的な評価実践とセキュリティ/安全性の考慮事項は何か？
• RQ5 ベンチマークや実世界のケーススタディにおける prompting 手法の性能はどのようであるか？ynet?

主な発見

• 58のテキストベース prompting 手法の分類体系が提示され、6つの主要カテゴリーに整理されている。
• 非テキストモダリティを対象とした40の prompting 手法の並行セット（マルチモーダル prompting）をカバーしている。
• 標準化のために33語の prompting 用語が提供されている。
• 本研究はPRISMAベースのプロセスに従い、自然言語プレフィックス prompting のメタ分析を含む。
• エージェント、評価、セキュリティ、アラインメント、ベンチマーキングなど、 prompting 研究内の議論を扱う。
• 2つのケーススタディは、MMLU のようなベンチマークと現実世界の危機関連タスクなどに対する prompting 手法を示している。

Figure 1.4: The Prompt Engineering Process consists of three repeated steps 1) performing inference on a dataset 2) evaluating performance and 3) modifying the prompt template. Note that the extractor is used to extract a final response from the LLM output (e.g. "This phrase is positive" $\rightarro