[논문 리뷰] Prompt Design and Engineering: Introduction and Advanced Methods

Xavier Amatriain|arXiv (Cornell University)|2024. 01. 24.

BIM and Construction Integration인용 수 31

한 줄 요약

이 논문은 LLM을 위한 프롬프트 설계 및 엔지니어링을 조사하고, Chain-of-Thought, Reflection, 및 agent-based prompting과 같은 핵심 개념 및 고급 기술과 도구 조사를 소개합니다.

ABSTRACT

Prompt design and engineering has rapidly become essential for maximizing the potential of large language models. In this paper, we introduce core concepts, advanced techniques like Chain-of-Thought and Reflection, and the principles behind building LLM-based agents. Finally, we provide a survey of tools for prompt engineers.

연구 동기 및 목표

• 생성형 AI 모델에 대한 프롬프트 설계 및 엔지니어링 정의.
• 핵심 프롬프트 유형과 그것이 모델 출력에 미치는 영향 설명.
• 고급 기술(CoT, Reflection, ToT, 도구, Rails, RAG) 및 그 응용 분야 조사.
• LLM의 한계와 고급 프롬프트가 이를 완화하는 방법 논의.
• 프롬프트 엔지니어들이 사용하는 도구와 프레임워크의 현황 제공.

제안 방법

• 기본 프롬프트 구조와 고급 프롬프트 구조 및 프롬프트 엔지니어링 작업 흐름 설명.
• Chain-of-Thought 및 기타 추론 향상 기법을 예시와 함께 소개.
• ToT, Tools/Connectors/Skills, ART, Self-Consistency, Reflection, Expert Prompting, 및 Rails를 포함한 고급 방법 제시.
• APE와 PromptChainer 기반 체인 등 자동화 및 도구화 논의.
• Retrieval Augmented Generation (RAG) 및 관련 프롬프트 전략 개요.
• 방법을 맥락화하기 위해 주목할 만한 관련 연구를 참고.

Figure 1: Instructions + Question Prompt result example

실험 결과

연구 질문

• RQ1 LLM용 프롬프트 설계 및 엔지니어링의 기본 개념은 무엇인가?
• RQ2 추론, 사실성 및 LLM 출력의 신뢰성을 향상시키는 고급 프롬프트 기법은 무엇인가?
• RQ3 프롬프트를 통해 외부 도구, 기억, 지식 소스를 활용하는 방법은?
• RQ4 확장 가능한 프롬프트 엔지니어링을 지원하는 도구 아키텍처(에이전트, Rails, APE)는?
• RQ5 프롬프트 전략이 완화하려는 LLM의 핵심 한계는 무엇인가?

주요 결과

• Chain-of-Thought prompting 및 그 변형은 LLM의 문제 해결 능력을 향상시킨다.
• Tree of Thought 및 self-consistency와 같은 기법은 탐색 및 신뢰성을 향상시킨다.
• 외부 도구, 커넥터, 스킬은 LLM의 고유 지식을 넘어선 능력을 확장한다.
• Reflection, expert prompting, 및 rails는 출력의 정확성과 안전성을 향하도록 안내한다.
• 자동 프롬프트 엔지니어링 및 RAG 접근 방식은 프롬프트 설계의 자동화 및 보강을 제공한다.
• 주요 프레임워크와 도구(예: PromptChainer, Nemo Guardrails, APE)는 실용적 엔지니어링 워크플로를 보여준다.

Figure 2: Instructions + Input Prompt result example