[论文解读] Generalizable Chain-of-Thought Prompting in Mixed-task Scenarios with Large Language Models

Anni Zou, Zhuosheng Zhang+2 more|arXiv (Cornell University)|Oct 10, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出 GeM-CoT，一种适用于输入问题类型未知的混合任务场景的可泛化思维链提示框架。该方法通过类型分类与基于多样性的演示检索或构建，从动态更新的演示池中获取支持，实现了在33项推理任务（包括10个公开数据集和23项BBH任务）上的最先进性能与强大泛化能力。

ABSTRACT

Large language models (LLMs) have unveiled remarkable reasoning capabilities by exploiting chain-of-thought (CoT) prompting, which generates intermediate reasoning chains to serve as the rationale for deriving the answer. However, current CoT methods either simply employ general prompts such as Let's think step by step, or heavily rely on pre-defined task-specific demonstrations to attain preferable performances, thereby engendering an inescapable gap between performance and generalization. To bridge this gap, we propose GeM-CoT, a Generalizable CoT prompting mechanism in Mixed-task scenarios where the type of input questions is unknown. GeM-CoT first categorizes the question type and subsequently samples or constructs demonstrations from the corresponding data pool in an automatic pattern. With this technical design, GeM-CoT simultaneously enjoys superior generalization capabilities and remarkable performances on 10 public reasoning tasks and 23 BBH tasks.

研究动机与目标

• 解决在真实混合任务场景下，问题类型未知且动态混合时，思维链提示中的性能-泛化差距问题。
• 开发一种无需依赖任务特定演示或人工标注的提示机制。
• 实现自动、可扩展且零成本的演示检索与构建，以支持开放环境中长期的适应能力。
• 通过统一的自更新框架，弥合零样本泛化与少样本性能之间的权衡。
• 在多种推理任务中展现鲁棒性与泛化能力，包括算术推理、常识推理与符号推理。

提出的方法

• 首先，利用语义相似度匹配，将输入问题分类到任务类型，参考预先构建的演示池。
• 对于成功匹配的问题，从对应的任务特定数据池中检索多样化、高质量的演示。
• 对于未匹配的问题，执行零样本推理，并将输入-问题-答案三元组存储在数据缓存中。
• 对缓存中分组的问题应用基于密度的聚类，以识别符合质量标准的聚类。
• 从每个合格聚类中自动生成多样化、任务相关的演示，并将其添加到演示池中以供未来使用。
• 持续更新演示池与缓存，以确保长期适应性与随时间推移的泛化能力提升。

Figure 1: Comparison of conventional single-task scenarios and our concerned setting: mixed-task scenarios . There are three major characteristics of mixed-task scenarios: (i) the type of any incoming question is unknown; (ii) the input data comes from a set of mixed tasks; (iii) the questions come

实验结果

研究问题

• RQ1 在问题类型未知的混合任务场景下，思维链提示机制能否在保持强泛化能力的同时实现高性能？
• RQ2 与基于相似度或随机采样的方法相比，基于多样性的演示选择策略在少样本 CoT 提示中的有效性如何？
• RQ3 基于语义相似度的类型匹配在成本、准确率与泛化能力方面，是否优于基于大语言模型的分类器？
• RQ4 在类型匹配模块中，何种阈值能最优平衡多种推理任务中的精确率与召回率？
• RQ5 从聚类数据中自动构建演示是否能同时提升零样本与少样本设置下的性能与泛化能力？

主要发现

• GeM-CoT 在10个公开推理基准上达到最先进性能，包括 AddSub 上93.7% 的准确率与 Coin 上100% 的准确率。
• 该方法优于基于相似度与随机采样的演示选择策略，在 AQuA 上达到51.9% 准确率，在 Strategy 上达到63.5% 准确率。
• 基于语义相似度的类型匹配模块性能与基于大语言模型的分类器相当，但无需API费用或提示工程。
• 在类型匹配模块中使用0.35的阈值，经1,200个测试问题的分析验证，可在所有任务中实现最优F1与准确率。
• GeM-CoT 展现出强大的泛化能力，性能从第二批次开始持续提升，表明随着数据积累，适应能力不断增强。
• 该方法成功统一了性能与泛化能力，在23项BBH任务中实现高准确率，同时在开放、混合任务环境中保持广泛适用性。

Figure 2: Overview of our proposed GeM-CoT mechanism. GeM-CoT first routes the input question to different paths ( Type Matching ): i) path matched $\rightarrow$ : For a successful match, it fetches demonstrations from the demo pool ( Demo Acquisition ) and performs a final inference ( Answer Deriva