[论文解读] A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications

Pranab Sahoo, Ayush Singh+4 more|arXiv (Cornell University)|Feb 5, 2024

Topic Modeling被引用 183

一句话总结

通过按应用领域对提示工程技术进行系统综述，覆盖 29+ 种方法，详细介绍方法、模型、数据集，以及利弊。

ABSTRACT

Prompt engineering has emerged as an indispensable technique for extending the capabilities of large language models (LLMs) and vision-language models (VLMs). This approach leverages task-specific instructions, known as prompts, to enhance model efficacy without modifying the core model parameters. Rather than updating the model parameters, prompts allow seamless integration of pre-trained models into downstream tasks by eliciting desired model behaviors solely based on the given prompt. Prompts can be natural language instructions that provide context to guide the model or learned vector representations that activate relevant knowledge. This burgeoning field has enabled success across various applications, from question-answering to commonsense reasoning. However, there remains a lack of systematic organization and understanding of the diverse prompt engineering methods and techniques. This survey paper addresses the gap by providing a structured overview of recent advancements in prompt engineering, categorized by application area. For each prompting approach, we provide a summary detailing the prompting methodology, its applications, the models involved, and the datasets utilized. We also delve into the strengths and limitations of each approach and include a taxonomy diagram and table summarizing datasets, models, and critical points of each prompting technique. This systematic analysis enables a better understanding of this rapidly developing field and facilitates future research by illuminating open challenges and opportunities for prompt engineering.

研究动机与目标

• 提供一个结构化、以应用为中心的 LLMs 和 VLMs 提示工程技术分类法。
• 总结每种技术的提示方法学、应用、模型和数据集。
• 评估优点、局限性和未来研究的开放挑战，以指导未来研究。

提出的方法

• 按应用领域组织技术（新任务、推理、减少幻觉、用户界面、微调、基于知识的推理等）。
• 描述 prompting methodologies（zero-shot, few-shot, CoT, Auto-CoT, Self-Consistency, ToT, GoT, S2A, CoVe, CoN, CoK, ReAct, RAG, CoT 变体 等）。
• 提供模型/数据集映射及性能要点（例如 CoT 与 PaLM 540B 在数学/常识基准上的准确率达到 90.2%）。
• 讨论每种技术的优点/局限性和实际考虑因素。
• 包含一个分类法图和一个汇总表，映射技术到数据集、模型及要点。

Figure 1 : Visual breakdown of prompt engineering components: LLMs trained on extensive data, instruction and context as pivotal elements shaping the prompt, and a user input interface.

实验结果

研究问题

• RQ1 在 LLMs 和 VLMs 中使用的主要提示工程技术有哪些？
• RQ2 按应用领域和任务类型，提示方法有何差异？
• RQ3 常用来评估提示方法的数据集和模型有哪些，它们的优缺点分别是什么？
• RQ4 在实际应用中，提示工程面临的开放挑战和机遇是什么？

主要发现

• 该综述列举了覆盖从零-shot 到高级方法（如 Tree-of-Thoughts 和 Graph-of-Thoughts）的 29 种以上提示技术。
• CoT 提示及其增强（Self-Consistency、ToT、GoT、LogiCoT、CoS、ReAct、CoVe、CoN、CoK）在多项基准测试中取得显著提升（例如 CoT 与 PaLM 540B 在数学/常识基准上的准确率达到 90.2%）。
• 检索增强和工具使用的方法（RAG、ReAct、CoVe、CoN、ART）解决幻觉和事实性问题，在问答、事实核查和开放域任务中显示出提升。
• 代码生成与执行提示（Scratchpad、PoT、SCoT、CoC）在编程和数学任务上改善推理能力与准确性，在若干情境中优于 CoT。
• 存在广泛的技术覆盖不确定性、情感/语气、效率、元认知和用户交互等方面，体现出一个成熟的、多元化的提示工程景观。
• 论文提供一个分类法图以及一个整合表，概述跨技术的数据集、模型和提示。