[논문 리뷰] A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT

Jules White, Quchen Fu외 7명|arXiv (Cornell University)|2023. 02. 21.

Software Engineering Research인용 수 771

한 줄 요약

논문은 재사용 가능한 솔루션으로 구성된 프롬프트 패턴 카탈로그를 제시하여 소프트웨어 개발의 다양한 작업에 대한 패턴의 문서화 프레임워크와 패턴 결합을 포함한 ChatGPT 프롬프트 엔지니어링을 향상시킨다.

ABSTRACT

Prompt engineering is an increasingly important skill set needed to converse effectively with large language models (LLMs), such as ChatGPT. Prompts are instructions given to an LLM to enforce rules, automate processes, and ensure specific qualities (and quantities) of generated output. Prompts are also a form of programming that can customize the outputs and interactions with an LLM. This paper describes a catalog of prompt engineering techniques presented in pattern form that have been applied to solve common problems when conversing with LLMs. Prompt patterns are a knowledge transfer method analogous to software patterns since they provide reusable solutions to common problems faced in a particular context, i.e., output generation and interaction when working with LLMs. This paper provides the following contributions to research on prompt engineering that apply LLMs to automate software development tasks. First, it provides a framework for documenting patterns for structuring prompts to solve a range of problems so that they can be adapted to different domains. Second, it presents a catalog of patterns that have been applied successfully to improve the outputs of LLM conversations. Third, it explains how prompts can be built from multiple patterns and illustrates prompt patterns that benefit from combination with other prompt patterns.

연구 동기 및 목표

• LLM 상호작용 문제 범위를 해결하기 위한 프롬프트 패턴 문서화를 위한 프레임워크를 제공하는 것.
• 소프트웨어 개발 업무 자동화에 적용되는 도메인 독립적 프롬프트 패턴 카탈로그를 소개하는 것.
• 프롬프트가 다수의 패턴으로 구성되고 다른 패턴과 결합되어 출력 향상을 어떻게 할 수 있는지 보여주는 것.

제안 방법

• 소프트웨어 디자인 패턴과 유사하게 프롬프트를 구성하는 패턴 기반 프레임워크를 정의한다.
• 대화형 LLM 및 출력 생성을 적용 가능한 16개의 프롬프트 패턴을 분류하고 카탈로그화한다.
• 재사용을 가능하게 하는 패턴 구조, 의도, 동기 및 샘플 구현을 설명한다.

실험 결과

연구 질문

• RQ1 프롬프트 패턴은 어떻게 문서화되고 도메인 간에 전이될 수 있는가?
• RQ2 소프트웨어 작업에서 LLM 출력과 상호 작용을 향상시키기 위한 필수적인 프롬프트 패턴은 무엇인가?
• RQ3 다중 프롬프트 패턴을 어떻게 조합하여 더 넓은 목표를 달성할 수 있는가?

주요 결과

• 16개의 프롬프트 패턴을 다섯 그룹으로 분류한 카탈로그를 소개한다: Input Semantics, Output Customization, Error Identification, Prompt Improvement, and Interaction.
• 프롬프트를 위한 대안 언어나 표기법을 허용하는 Meta Language Creation 패턴을 정의한다.
• Presents Output Automater, Persona, Visualization Generator, Recipe, Template, Fact Check List, Reflection, Question Refinement, Alternative Approaches, Cognitive Verifier, Refusal Breaker, Flipped Interaction, Game Play, Infinite Generation, and Context Manager patterns.
• 엄격한 문법 없이 프롬프트 아이디어를 문서화하는 가벼운 접근법으로서의 기본적 맥락적 진술을 설명한다.
• 프롬프트가 다중 패턴으로 구성되어 복잡한 상호 작용 및 출력 요구를 충족할 수 있음을 보여준다.
• ChatGPT+를 사용한 평가를 언급하고 패턴의 재사용성, 이전 가능성, 도메인 적응을 강조한다.