[论文解读] Towards Better Chain-of-Thought Prompting Strategies: A Survey

Zihan Yu, Liang He+3 more|arXiv (Cornell University)|Oct 8, 2023

Advanced Graph Neural Networks被引用 23

一句话总结

本综述系统性分析大模型的 Chain-of-Thought 提示，识别影响性能的四个关键因素（任务、提示、扩展策略、模型），并勾勒未来方向。

ABSTRACT

Chain-of-Thought (CoT), a step-wise and coherent reasoning chain, shows its impressive strength when used as a prompting strategy for large language models (LLM). Recent years, the prominent effect of CoT prompting has attracted emerging research. However, there still lacks of a systematic summary about key factors of CoT prompting and comprehensive guide for prompts utilizing. For a deeper understanding about CoT prompting, we survey on a wide range of current research, presenting a systematic and comprehensive analysis on several factors that may influence the effect of CoT prompting, and introduce how to better apply it in different applications under these discussions. We further analyze the challenges and propose some future directions about CoT prompting. This survey could provide an overall reference on related research.

研究动机与目标

• 将 Chain-of-Thought 提示形式化并总结其使用流程。
• 识别显著影响 CoT 提示性能的四个关键因素：任务类型、提示设计、扩展策略和模型。
• 调查现有的 CoT 提示技术并对其进行分类，以指导实际应用。
• 讨论挑战并提出推动 CoT 提示研究的未来方向。

提出的方法

• 提供一个系统的分类法和分析框架用于 CoT 提示（任务类型、示例、推理过程、以及提示）。
• 在四个影响因素下回顾并整理现有的 CoT 提示方法。
• 总结扩展和设计策略，如集成、子问题分解、外部帮助和推理过程的合理化。
• 讨论与模型相关的见解，包括模型大小、训练语料和与 CoT 相关的涌现能力。

实验结果

研究问题

• RQ1 哪些任务类型最有利于通过 CoT 提示获得改进？
• RQ2 示例、推理过程和提示设计如何影响跨任务和模型的 CoT 性能？
• RQ3 哪些扩展策略（集成、子问题、外部工具、推理过程）最有效地提升 CoT 提示？
• RQ4 模型大小和训练数据如何影响 CoT 提示的涌现性和效用？

主要发现

• CoT 提示在多步推理任务上显示出显著收益，并且可以提供可解释的推理轨迹。
• 四个因素显著影响 CoT 性能：任务类型、提示设计、扩展策略和模型。
• 外部知识和工具整合可以提升在开放领域或知识密集型任务中的 CoT 性能。
• 在更大模型规模下存在涌现的 CoT 能力证据，较小的模型受益较少或需要微调。
• 挑战包括生成推理过程的可信性、对复杂现实任务的泛化性，以及对理论理解的需求。