[论文解读] Deliberate then Generate: Enhanced Prompting Framework for Text Generation

Bei Li, Rui Wang+8 more|arXiv (Cornell University)|May 31, 2023

Topic Modeling被引用 5

一句话总结

本文提出了一种名为 Deliberate then Generate (DTG) 的新型提示工程框架，通过指导大型语言模型（LLMs）在生成前先检测候选输出中的错误，从而提升文本生成质量。通过使用无关或错误的候选输出（如空字符串或随机文本），DTG 触发 LLM 的反思性推理，进而在 20 余个数据集的 7 种文本生成任务（包括摘要生成、机器翻译和对话生成）中实现一致的性能提升，并在多个基准测试中达到最先进水平。

ABSTRACT

Large language models (LLMs) have shown remarkable success across a wide range of natural language generation tasks, where proper prompt designs make great impacts. While existing prompting methods are normally restricted to providing correct information, in this paper, we encourage the model to deliberate by proposing a novel Deliberate then Generate (DTG) prompting framework, which consists of error detection instructions and candidates that may contain errors. DTG is a simple yet effective technique that can be applied to various text generation tasks with minimal modifications. We conduct extensive experiments on 20+ datasets across 7 text generation tasks, including summarization, translation, dialogue, and more. We show that DTG consistently outperforms existing prompting methods and achieves state-of-the-art performance on multiple text generation tasks. We also provide in-depth analyses to reveal the underlying mechanisms of DTG, which may inspire future research on prompting for LLMs.

研究动机与目标

• 为解决标准提示工程仅处理正确信息的局限性，通过让 LLM 在生成前进行反思和错误检测，提升其性能。
• 探究是否通过提示 LLM 评估并修正有缺陷的输出，能够提升生成质量。
• 开发一种简单但高效的提示工程框架，适用于多种文本生成任务，且修改极少。
• 通过实证验证 DTG 是否能提升模型性能，并揭示 LLM 中潜在的反思性机制。

提出的方法

• DTG 引入两步提示流程：首先，模型被提示检测候选输出中的错误；其次，生成优化后的结果。
• 候选输入被故意设计为错误或无关内容（如空字符串或随机文本），以迫使模型参与错误检测与修正。
• 框架采用固定提示模板：'请先检测错误类型，然后提供优化结果。'
• 该方法在多种任务中仅需极少提示工程，包括摘要生成、机器翻译、对话生成和常识推理生成。
• 实验使用 GPT-3.5 和 GPT-4，在零样本和少样本设置下评估其泛化能力与鲁棒性。
• 通过对齐工具（awesome-align）和命名实体识别（spaCy）进行错误分析，量化翻译中的漏译和实体翻译错误。

实验结果

研究问题

• RQ1 通过提示 LLM 反思候选输出中可能存在的错误，是否能提升其生成质量？
• RQ2 使用无关或错误的候选输入是否能有效触发 LLM 的错误检测与修正行为？
• RQ3 DTG 在多种文本生成任务和不同模型变体中与标准提示工程相比表现如何？
• RQ4 导致 DTG 性能提升的潜在机制是什么，特别是在错误规避与结果优化方面？

主要发现

• DTG 在涵盖 7 种文本生成任务（包括摘要生成、机器翻译和对话生成）的 20 余个数据集中，持续优于标准提示工程。
• 在 WMT ZH-EN 翻译基准上，DTG 将 BLEU 从 23.6（标准提示）提升至 25.2，COMET 从 81.12 提升至 81.70。
• 使用无关候选（如随机文本或空字符串）的效果优于使用固定错误候选或正确候选，表明与参考答案的高差异性能增强模型的反思能力。
• 消融实验证实，当 LLM 面对错误候选时，会主动进行错误检测，从而提升生成质量。
• 该方法在多个基准上达到最先进性能，涵盖机器翻译、文本简化和常识推理生成等任务。
• 错误分析显示，DTG 显著减少了漏译和命名实体翻译错误，证实其在错误规避方面的有效性。