[论文解读] From Instruction to Output: The Role of Prompting in Modern NLG

Munazza Zaib, Elaf Alhazmi|arXiv (Cornell University)|Jan 21, 2026

Topic Modeling被引用 0

一句话总结

对自然语言生成（NLG）提示的综合综述，提出提示范式的分类法、可操作的提示选择决策框架，以及一个将设计、优化与评估联系起来以实现可控且具泛化能力的NLG系统的框架。

ABSTRACT

Prompt engineering has emerged as an integral technique for extending the strengths and abilities of Large Language Models (LLMs) to gain significant performance gains in various Natural Language Processing (NLP) tasks. This approach, which requires instructions to be composed in natural language to bring out the knowledge from LLMs in a structured way, has driven breakthroughs in various NLP tasks. Yet there is still no structured framework or coherent understanding of the varied prompt engineering methods and techniques, particularly in the field of Natural Language Generation (NLG). This survey aims to help fill that gap by outlining recent developments in prompt engineering, and their effect on different NLG tasks. It reviews recent advances in prompting methods and their impact on NLG tasks, presenting prompt design as an input-level control mechanism that complements fine-tuning and decoding approaches. The paper introduces a taxonomy of prompting paradigms, a decision framework for prompt selection based on varying factors for the practitioners, outlines emerging trends and challenges, and proposes a framework that links design, optimization, and evaluation to support more controllable and generalizable NLG.

研究动机与目标

• 澄清提示设计如何作为NLG任务的输入层控制机制，与微调和解码层控制进行比较。
• 提出NLG提示范式的分类法（基础、情景、高级推理），并将其映射到任务设置。
• 开发一个决策框架，帮助从业者基于任务复杂性、交互环境和资源来选择提示策略。
• 将设计、优化和评估联系到一个系统框架中，以提升NLG系统的可控性和泛化能力。

提出的方法

• 提出一个提示范式分类法（基础、情境、高级推理），并描述代表性技术（如零样本、少样本、链式推理、角色提示、ThoT、CoE、ToT、自我一致性）。
• 将基于提示的控制与微调和解码层控制进行对比，以将提示定位为中间路径的方法。
• 引入一个面向任务与情境的决策框架（图1），用于基于任务要求和资源约束选择提示策略。
• 概述一个将提示设计选择（指令结构、角色、示例、约束）、优化策略（人工、基于搜索、混合）与评估/鲁棒性考虑联系起来的框架。
• 回顾评估实践（人工、自动、LLM作为评判者）和鲁棒性问题（提示敏感性、脆弱性、偏见、事实性），以指导可靠评估。

Figure 1: Decision framework for selecting prompt-engineering strategies for NLG based on task complexity, interaction setting, primary control objective, and resource constraints.

实验结果

研究问题

• RQ1 提示驱动的NLG控制在灵活性、成本和适用性方面与微调和解码层控制相比有哪些差异？
• RQ2 存在哪些NLG提示范式，它们最适合哪些任务和交互设置？
• RQ3 应如何设计和优化提示，以实现NLG中的可靠内容、结构和风格控制？
• RQ4 在提示驱动的NLG系统中，哪些评估实践和鲁棒性考虑是必要的？
• RQ5 为推进NLG的系统化提示工程，出现了哪些趋势、挑战和统一框架？

主要发现

• 提示作为输入层的有效控制，与微调和解码策略互补。
• 提示范式的分类区分基础、情景和高级推理方法在NLG任务中的适用性。
• 一个决策框架指导从业者基于任务复杂性、交互环境、主要控制目标和资源选择提示策略。
• 对提示的NLG评估需要在人工、自动和以LLM为评判者之间进行三角验证，以应对偏差、可重复性和覆盖范围不足的问题。
• 新兴趋势包括检索增强生成、将提示视为编程、以及情境工程，同时面临脆弱性、偏见和泛化等挑战。