[논문 리뷰] The Prompt Canvas: A Literature-Based Practitioner Guide for Creating Effective Prompts in Large Language Models

Michael Hewing, Vincent Leinhos|arXiv (Cornell University)|2024. 12. 06.

Educational Tools and Methods인용 수 5

한 줄 요약

논문은 Prompt Canvas를 소개하며, 이는 체계적 문헌 검토로 기존 프롬프트 엔지니어링 기법을 통합한 캔버스 기반 프레임워크로, LLM용 효과적인 프롬프트 설계를 위한 실무자 지침을 제공합니다.

ABSTRACT

The rise of large language models (LLMs) has highlighted the importance of prompt engineering as a crucial technique for optimizing model outputs. While experimentation with various prompting methods, such as Few-shot, Chain-of-Thought, and role-based techniques, has yielded promising results, these advancements remain fragmented across academic papers, blog posts and anecdotal experimentation. The lack of a single, unified resource to consolidate the field's knowledge impedes the progress of both research and practical application. This paper argues for the creation of an overarching framework that synthesizes existing methodologies into a cohesive overview for practitioners. Using a design-based research approach, we present the Prompt Canvas, a structured framework resulting from an extensive literature review on prompt engineering that captures current knowledge and expertise. By combining the conceptual foundations and practical strategies identified in prompt engineering, the Prompt Canvas provides a practical approach for leveraging the potential of Large Language Models. It is primarily designed as a learning resource for pupils, students and employees, offering a structured introduction to prompt engineering. This work aims to contribute to the growing discourse on prompt engineering by establishing a unified methodology for researchers and providing guidance for practitioners.

연구 동기 및 목표

• 다양한 출처의 단편화된 프롬프트 엔지니어링 지식을 하나의 응집된 프레임워크로 합치다.
• 학생, 수업생, 직원 등을 위한 실무자 지향 학습 자료를 제공한다.
• LLMs에서의 프롬프트에 대한 통일된 방법론을 확립하여 연구자에게 지침을 제공한다.

제안 방법

• SLR 및 PRISMA에서 영감을 받은 단계에 따라 프롬프트 엔지니어링 기법에 대한 체계적 문헌 고찰을 수행한다.
• 문헌의 발견을 시각적 캔버스에 매핑하여 접근성과 적용 가능성을 향상시킨다.
• 프롬프트 요소를 정리하기 위한 네 가지 범주 캔버스 구조(PERSONA/역할, 목표/단계별, 맥락/참고문헌, 형식/톤) 정의한다.
• Few-shot, Chain-of-Thought, 역할 기반 프롬프트와 같은 핵심 프롬프트 기법을 문헌의 보조 패턴과 기술과 함께 검토하고 통합한다.

실험 결과

연구 질문

• RQ1 특히 텍스트-투-텍스트 모달리티에서 프롬프트 엔지니어링의 기술과 방법의 현재 상태는 무엇인가?
• RQ2 프롬프트에 대한 단편화된 지식을 실무자 친화적인 프레임워크로 어떻게 통합할 수 있는가?
• RQ3 문헌에서 어떤 요소와 패턴이 응집력 있는 프롬프트 캔버스에 포함되어야 하는가?

주요 결과

• 실용적 사용을 위해 프롬프트 엔지니어링 기법을 시각적으로 조직하기 위한 통합된 캔버스가 제안된다.
• 문헌 고찰은 여러 프롬프트 기법과 패턴을 Prompt Canvas 프레임워크에 식별하고 합성한다.
• 프롬프트의 차원적 관점에는 상호작용, 맥락, 결과가 포함되며, Chain-of-Thought가 강력한 추론 기법으로 강조된다.
• 효과적인 프롬프트를 구성하기 위해 기존 분류체계에서 7~9 차원 및 관련 메타 차원이 도출된다.