[논문 리뷰] From Instruction to Output: The Role of Prompting in Modern NLG

Munazza Zaib, Elaf Alhazmi|arXiv (Cornell University)|2026. 01. 21.

Topic Modeling인용 수 0

한 줄 요약

자연어 생성(NLG)을 위한 프롬프트에 관한 포괄적 조사로, 프롬프트 패러다임의 분류 체계, 프롬프트 선택에 대한 실용적 의사 결정 프레임워크, 그리고 설계, 최적화 및 평가를 연결하는 프레임워크를 제시하여 제어 가능하고 일반화 가능한 NLG를 가능하게 한다.

ABSTRACT

Prompt engineering has emerged as an integral technique for extending the strengths and abilities of Large Language Models (LLMs) to gain significant performance gains in various Natural Language Processing (NLP) tasks. This approach, which requires instructions to be composed in natural language to bring out the knowledge from LLMs in a structured way, has driven breakthroughs in various NLP tasks. Yet there is still no structured framework or coherent understanding of the varied prompt engineering methods and techniques, particularly in the field of Natural Language Generation (NLG). This survey aims to help fill that gap by outlining recent developments in prompt engineering, and their effect on different NLG tasks. It reviews recent advances in prompting methods and their impact on NLG tasks, presenting prompt design as an input-level control mechanism that complements fine-tuning and decoding approaches. The paper introduces a taxonomy of prompting paradigms, a decision framework for prompt selection based on varying factors for the practitioners, outlines emerging trends and challenges, and proposes a framework that links design, optimization, and evaluation to support more controllable and generalizable NLG.

연구 동기 및 목표

• 프롬프트 설계가 NLG 작업에서 입력 수준의 제어 메커니즘으로 작용하는 방식과 미세조정(fine-tuning) 및 디코딩 수준 제어와의 비교를 명확히 한다.
• NLG용 프롬프트 패러다임의 분류 체계(기초적, 맥락적, 고급 추론)를 제시하고 이를 작업 환경에 매핑한다.
• 작업 복잡도, 상호작용 설정, 자원을 기반으로 프롬프트 전략 선택을 돕는 의사 결정 프레임워크를 개발한다.
• 설계, 최적화, 평가를 체계적 프레임워크로 연결하여 NLG 시스템의 제어 가능성 및 일반화 능력을 향상시킨다.

제안 방법

• 프롬프트 패러다임의 분류 체계(Foundational, Contextual, Advanced Reasoning)를 제시하고 대표 기술들을 설명한다(예: zero-shot, few-shot, chain-of-thought, role prompting, ThoT, CoE, ToT, self-consistency).
• 프롬프트 기반 제어를 미세조정 및 디코딩 수준 제어와 대조하여 프롬프트를 중간 지대의 접근 방식으로 위치시킨다.
• 작업 및 맥락 인식 의사 결정 프레임워크(Figure 1)를 도입하여 작업 요건과 자원 제약에 따라 프롬프트 전략을 선택한다.
• 프롬프트 설계 선택(지시 구조, 역할, 예시, 제약), 최적화 전략(수동, 검색 기반, 하이브리드), 평가/강건성 고려사항을 연결하는 프레임워크를 개요한다.
• 평가 관행(인간, 자동, LLM-판사로서의 평가)과 강건성 문제(프롬프트 민감도, 취약성, 편향, 사실성)를 검토해 신뢰할 수 있는 평가를 안내한다.

Figure 1: Decision framework for selecting prompt-engineering strategies for NLG based on task complexity, interaction setting, primary control objective, and resource constraints.

실험 결과

연구 질문

• RQ1 NLG에 대한 프롬프트 기반 제어가 유연성, 비용, 적용성 측면에서 미세조정 및 디코딩 수준 제어와 어떻게 비교되는가?
• RQ2 NLG를 위한 프롬프트 패러다임은 무엇이 있으며 어떤 작업 및 상호작용 설정에 가장 적합한가?
• RQ3 NLG에서 신뢰할 수 있는 내용, 구조 및 스타일 제어를 달성하기 위해 프롬프트를 어떻게 설계하고 최적화해야 하는가?
• RQ4 프롬프트 기반 NLG 시스템에 필수적인 평가 관행 및 강건성 고려사항은 무엇인가?
• RQ5 NLG를 위한 체계적인 프롬프트 엔지니어링을 강화하기 위해 어떤 추세와 도전과제, 그리고 통합 프레임워크가 나타나고 있는가?

주요 결과

• 프롬프트는 미세조정 및 디코딩 전략을 보완하는 효과적인 입력 수준 제어로 작용한다.
• 프롬프트 패러다임의 분류 체계는 NLG 작업에 대한 기초적, 맥락적, 고급 추론 접근을 구분한다.
• 의사 결정 프레임워크는 작업 복잡도, 상호작용 설정, 주요 제어 목표 및 자원에 따라 프롬프트 전략을 선택하도록 실무자들을 안내한다.
• 프롬프트된 NLG의 평가에는 편향, 재현성, 커버리지 차이로 인한 문제를 해결하기 위해 인간, 자동, 및 LLM 기반 심판 간 삼각측량이 필요하다.
• 신흥 추세로는 검색 보강 생성, 프롬프트를 프로그래밍으로 보는 관점, 맥락 설계(context engineering)가 있으며 취성성, 편향, 일반화의 뚜렷한 도전과제가 함께 제시된다.