[논문 리뷰] A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications

Pranab Sahoo, Ayush Singh외 4명|arXiv (Cornell University)|2024. 02. 05.

Topic Modeling인용 수 183

한 줄 요약

응용 분야별로 LLM 및 VLM의 프롬프트 엔지니어링 기법을 체계적으로 정리하고, 29개 이상의 접근법에 걸쳐 방법, 모델, 장단점을 상세히 다루는 체계적 고찰.

ABSTRACT

Prompt engineering has emerged as an indispensable technique for extending the capabilities of large language models (LLMs) and vision-language models (VLMs). This approach leverages task-specific instructions, known as prompts, to enhance model efficacy without modifying the core model parameters. Rather than updating the model parameters, prompts allow seamless integration of pre-trained models into downstream tasks by eliciting desired model behaviors solely based on the given prompt. Prompts can be natural language instructions that provide context to guide the model or learned vector representations that activate relevant knowledge. This burgeoning field has enabled success across various applications, from question-answering to commonsense reasoning. However, there remains a lack of systematic organization and understanding of the diverse prompt engineering methods and techniques. This survey paper addresses the gap by providing a structured overview of recent advancements in prompt engineering, categorized by application area. For each prompting approach, we provide a summary detailing the prompting methodology, its applications, the models involved, and the datasets utilized. We also delve into the strengths and limitations of each approach and include a taxonomy diagram and table summarizing datasets, models, and critical points of each prompting technique. This systematic analysis enables a better understanding of this rapidly developing field and facilitates future research by illuminating open challenges and opportunities for prompt engineering.

연구 동기 및 목표

• LLM과 VLM를 위한 프롬프트 엔지니어링 기법의 구조화되고 응용 중심의 분류체계를 제시한다.
• 각 기법에 대한 프롬프트 방법론, 응용 분야, 모델, 데이터셋을 요약한다.
• 향후 연구를 안내하기 위한 강점, 한계 및 열린 도전을 평가한다.

제안 방법

• 기법을 응용 영역별로 구성한다(새로운 작업, 추론, 환각 감소, 사용자 인터페이스, 미세조정, 지식 기반 추론 등).
• 프롬프트 방법론을 설명한다(제로샷, 파샷, CoT, Auto-CoT, Self-Consistency, ToT, GoT, S2A, CoVe, CoN, CoK, ReAct, RAG, CoT 변형 등).
• 모델/데이터셋 매핑 및 성능 하이라이트를 제공한다(예: PaLM 540B와 함께한 CoT가 수학/일반상식 벤치마크에서 90.2% 정확도 도달).
• 각 기법의 강점/제한점 및 실용적 고려사항을 논의한다.
• 분류체계 다이어그램과 기법을 데이터셋, 모델 및 중요 포인트에 매핑한 요약 표를 포함한다.

Figure 1 : Visual breakdown of prompt engineering components: LLMs trained on extensive data, instruction and context as pivotal elements shaping the prompt, and a user input interface.

실험 결과

연구 질문

• RQ1 LLM과 VLM 전반에서 사용되는 주요 프롬프트 엔지니어링 기법은 무엇인가?
• RQ2 프롬프트 방법은 응용 도메인 및 작업 유형에 따라 어떻게 달라지는가?
• RQ3 프롬프트 접근법을 평가하는 데 일반적으로 사용되는 데이터셋과 모델은 무엇이며, 보고된 강점과 한계는 무엇인가?
• RQ4 실무에서 프롬프트 엔지니어링을 진전시키기 위한 열린 과제와 기회는 무엇인가?

주요 결과

• 본 고찰은 제로샷에서 Tree-of-Thoughts 및 Graph-of-Thoughts와 같은 고급 방법에 이르는 29개 이상의 프롬프트 기법을 열거한다.
• CoT 프롬프팅과 향상 기법들(Self-Consistency, ToT, GoT, LogiCoT, CoS, ReAct, CoVe, CoN, CoK)이 다수 벤치마크에서 주목할 만한 향상을 가져오며(예: PaLM 540B를 사용한 CoT가 수학/상식 벤치마크에서 90.2% 정확도 달성).
• 검색 증강(RAG) 및 도구 사용 접근법(ReAct, CoVe, CoN, ART)은 환각 및 사실성 문제를 다루며, QA, 사실 검증 및 오픈 도메인 과제에서 입증된 향상을 보인다.
• 코드 생성 및 실행 프롬프팅(Scratchpad, PoT, SCoT, CoC)은 프로그래밍 및 수학 과제에서 추론 및 정확도를 향상시키며, 여러 환경에서 CoT를 능가한다.
• 불확실성, 감정/어조, 효율성, 메타인지, 사용자 상호작용 등을 다루는 광범위한 기법들이 있으며, 성숙하고 다면적인 프롬프트 엔지니어링 환경을 강조한다.
• 본 논문은 분류체계 다이어그램과 기술 간 데이터셋, 모델, 프롬프트를 개략한 통합 표를 제공한다.