[논문 리뷰] Unleashing the potential of prompt engineering for large language models

B.‐C. CHEN, Zhaofeng Zhang외 2명|arXiv (Cornell University)|2023. 10. 23.

Topic Modeling인용 수 133

한 줄 요약

대규모 언어 모델용 프롬프트 엔지니어링 기술에 대한 포괄적 조사로, 기초 방법, 고급 프롭팅 전략, 평가 및 응용을 다룬다.

ABSTRACT

This comprehensive review delves into the pivotal role of prompt engineering in unleashing the capabilities of Large Language Models (LLMs). The development of Artificial Intelligence (AI), from its inception in the 1950s to the emergence of advanced neural networks and deep learning architectures, has made a breakthrough in LLMs, with models such as GPT-4o and Claude-3, and in Vision-Language Models (VLMs), with models such as CLIP and ALIGN. Prompt engineering is the process of structuring inputs, which has emerged as a crucial technique to maximize the utility and accuracy of these models. This paper explores both foundational and advanced methodologies of prompt engineering, including techniques such as self-consistency, chain-of-thought, and generated knowledge, which significantly enhance model performance. Additionally, it examines the prompt method of VLMs through innovative approaches such as Context Optimization (CoOp), Conditional Context Optimization (CoCoOp), and Multimodal Prompt Learning (MaPLe). Critical to this discussion is the aspect of AI security, particularly adversarial attacks that exploit vulnerabilities in prompt engineering. Strategies to mitigate these risks and enhance model robustness are thoroughly reviewed. The evaluation of prompt methods is also addressed through both subjective and objective metrics, ensuring a robust analysis of their efficacy. This review also reflects the essential role of prompt engineering in advancing AI capabilities, providing a structured framework for future research and application.

연구 동기 및 목표

• LLMs를 위한 프롬프트 엔지니어링의 기본 원리와 구성요소를 설명한다.
• 출력 품질을 향상시키고 환각 현상을 줄이기 위한 기본 및 고급 프롬프트 기법을 조사한다.
• 프롬프트를 향상시키기 위한 플러그인 및 검색 보강과 같은 외부 도구를 논의한다.
• 다양한 관점에서 프롬프트의 효과를 평가하는 방법을 식별한다.
• 교육, 프로그래밍 및 기타 영역에서의 프롬프트 엔지니어링의 활용을 탐구한다.

제안 방법

• 기본 프롬프트 요소와 지시 품질이 출력에 어떻게 영향을 미치는지 설명한다.
• role-prompting, one-shot 및 few-shot prompting, 그리고 프롬프트 구조의 영향에 대해 제시한다.
• 고급 기법들: chain-of-thought, self-consistency, generated knowledge, least-to-most prompting, tree of thoughts, graph of thoughts를 설명한다.
• retrieval augmentation 및 plugin-assisted prompt polishing을 논의한다.
• 평가 전략과 향후 방향을 강조한다.]
• research_questions [

Figure 10: Guideline of courses generated by GPT-4

실험 결과

연구 질문

• RQ1 LLMs를 위한 프롬프트 엔지니어링의 핵심 원리와 기본 기술은 무엇인가?
• RQ2 고급 프롬 prompting 방법(CoT, ToT, GoT 등)이 어떻게 추론과 정확성을 향상시키는가?
• RQ3 외부 도구(검색 보강, 플러그인)가 프롬프트 효율성을 향상시키고 환각을 줄일 수 있는가?
• RQ4 다양한 작업과 관점에서 프롬프트 효과를 어떻게 평가해야 하는가?
• RQ5 다양한 도메인에서 프롬프트 엔지니어링의 잠재적 미래 방향과 활용은 무엇인가?

주요 결과

• 프롬프트 엔지니어링은 기본 프롬프트 구성에서 고급 추론 기반 기법에 이르는 스펙트럼을 포괄한다.
• Chain-of-Thought 및 Self-Consistency와 같은 고급 방법은 작업 간 추론 정확도를 향상시킨다.
• 검색 보강 및 플러그인과 같은 외부 도구는 환각을 줄이고 출력을 향상시킬 수 있다.
• 프롬프트 효율성은 정확도, 일관성 및 도메인 전반의 유용성을 포함한 다양한 관점에서 평가될 수 있다.
• 프롬프트 엔지니어링은 교육, 프로그래밍 및 기타 분야에서 변혁적 가능성을 지니고 있다.