[논문 리뷰] The Prompt Report: A Systematic Survey of Prompt Engineering Techniques

Sander Schulhoff, Michael Ilie외 29명|arXiv (Cornell University)|2024. 06. 06.

Artificial Intelligence in Healthcare and Education인용 수 72

한 줄 요약

본 논문은 프롬프트 기법에 대한 체계적 고찰을 제공하며, 58개의 텍스트 기반 프롬프트 기법과 40개의 다중모달 프롬프트 기법의 분류법, 그리고 33용어 어휘를 구성하고, PRISMA 기반 문헌고찰을 사용한다.

ABSTRACT

Generative Artificial Intelligence (GenAI) systems are increasingly being deployed across diverse industries and research domains. Developers and end-users interact with these systems through the use of prompting and prompt engineering. Although prompt engineering is a widely adopted and extensively researched area, it suffers from conflicting terminology and a fragmented ontological understanding of what constitutes an effective prompt due to its relatively recent emergence. We establish a structured understanding of prompt engineering by assembling a taxonomy of prompting techniques and analyzing their applications. We present a detailed vocabulary of 33 vocabulary terms, a taxonomy of 58 LLM prompting techniques, and 40 techniques for other modalities. Additionally, we provide best practices and guidelines for prompt engineering, including advice for prompting state-of-the-art (SOTA) LLMs such as ChatGPT. We further present a meta-analysis of the entire literature on natural language prefix-prompting. As a culmination of these efforts, this paper presents the most comprehensive survey on prompt engineering to date.

연구 동기 및 목표

• 프롬프트 연구 및 실천에 대한 구조화되고 널리 활용 가능한 어휘를 수립한다.
• 텍스트 및 기타 모달리티에 걸친 프롬프트 기법의 포괄적 분류를 생성한다.
• 문헌에서 프롬프트 접근 방식의 진화와 사용 패턴을 요약한다.

제안 방법

• PRISMA 기반 체계적 고찰을 수행하여 arXiv, Semantic Scholar, ACL의 프롬프트 문헌을 수집한다.
• 프롬프트 기법의 분류법(58 텍스트 기반, 40 다중모달) 및 33용어 어휘를 구성한다.
• 벤치마크, 다국어 및 다중모달 맥락, 에이전트 및 평가 프레임워크와 같은 프롬프트 확장을 포함하여 발견점을 종합한다.

Figure 1.1: Categories within the field of prompting are interconnected. We discuss 7 core categories that are well described by the papers within our scope.

실험 결과

연구 질문

• RQ1 GenAI 연구에서 프롬프트를 정의하는 핵심 구성요소와 용어는 무엇인가?
• RQ2 어떤 프롬프트 기법이 존재하며 이를 강건한 분류학으로 어떻게 분류할 수 있는가?
• RQ3 프롬프트 기법은 언어 및 모달리티 간에 어떻게 적용되며 어떤 확장이 존재하는가(에이전트, 평가)?
• RQ4 프롬프트에서 일반적인 평가 관행과 보안/안전 고려사항은 무엇인가?
• RQ5 벤치마크와 실제 사례 연구에서 프롬프트 기법의 성능은 어떠한가?ynet?

주요 결과

• 58개의 텍스트 기반 프롬프트 기법에 대한 분류가 여섯 가지 주요 범주로 구성되어 제시된다.
• 비텍스트 모달리티를 다루는 40개의 프롬프트 기법도 병렬적으로 제시된다(다중모달 프롬 prompting).
• 표준 용어를 위해 33개의 프롬프트 용어 어휘가 제공된다.
• 이 연구는 PRISMA 기반 프로세스를 따르며 자연어 접두사 프롬 prompting의 메타분석을 포함한다.
• 에이전트, 평가, 보안, 정렬 및 벤치마킹과 같은 프롬프트 연구의 측면이 논의된다.
• MMLU 같은 벤치마크와 실제 위기 관련 작업과 같은 사례 연구 두 개가 프롬프트 기법을 설명한다.

Figure 1.4: The Prompt Engineering Process consists of three repeated steps 1) performing inference on a dataset 2) evaluating performance and 3) modifying the prompt template. Note that the extractor is used to extract a final response from the LLM output (e.g. "This phrase is positive" $\rightarro