[论文解读] Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs

Hongru Wang, Rui Wang+6 more|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用 4

一句话总结

本文提出Cue-CoT，一种链式思维提示方法，通过显式推理用户对话语境中表现出的语言线索——个性、情绪和心理状态——来增强基于大语言模型的对话系统。通过将响应生成分解为中间推理步骤，Cue-CoT在6个多语言数据集上均提升了响应的有用性和可接受性，其中M-Cue CoT在零样本和少样本设置下均展现出优于标准提示方法的鲁棒性和性能。

ABSTRACT

Large Language Models (LLMs), such as exttt{ChatGPT}, greatly empower dialogue systems with strong language understanding and generation capabilities. However, most of the previous works prompt the LLMs to directly generate a response based on the dialogue context, overlooking the underlying linguistic cues about the user status exhibited in the context. Such in-depth dialogue scenarios are challenging for existing LLMs to figure out the user's hidden needs and respond satisfactorily through a single-step inference. To this end, we propose a novel linguistic cue-based chain-of-thoughts ( extit{Cue}-CoT), which enhances the LLMs inference with an intermediate reasoning step to find cues exhibited in the dialogue, aiming to provide a more personalized and engaging response. To evaluate the approach, we build a benchmark with in-depth dialogue questions, consisting of 6 datasets in both Chinese and English, targeting 3 major linguistic cues during the conversation: extit{personality}, extit{emotion}, and extit{psychology}. We conduct extensive experiments on the proposed benchmark with 5 LLMs under both zero-shot and one-shot settings. Empirical results demonstrate our proposed extit{Cue}-CoT method outperforms standard prompting methods in terms of both extit{helpfulness} and extit{acceptability} on all datasets.

研究动机与目标

• 为解决标准提示在生成个性化、上下文感知响应方面用于深度对话问题的局限性。
• 探究如何利用语言线索——个性、情绪和心理——来提升大语言模型在对话系统中的推理能力。
• 开发一种新型的思维链提示框架，通过中间推理步骤显式建模用户状态。
• 构建一个包含6个多语言数据集的综合性基准，用于评估用户状态感知的对话生成。
• 探索基于中间推理结果的演示选择策略，以适用于少样本设置。

提出的方法

• 提出Cue-CoT的两种变体：O-Cue CoT（一步推理并生成最终响应）和M-Cue CoT（对用户状态线索进行逐步推理）。
• 设计提示，引导大语言模型首先从对话语境中推断个性、情绪和心理状态，再生成响应。
• 在少样本设置中引入一种新颖的演示选择策略，以中间推理结果作为选择标准。
• 构建一个基准，包含6个数据集（3个中文，3个英文），涵盖7,300段对话，对个性、情绪和心理线索进行人工标注。
• 采用零样本和少样本提示方法，使用5种大语言模型评估在多种模型和语言下的性能表现。
• 通过自动评估和人工评估衡量响应的有用性和可接受性，由于推理过程的模糊性及一对一映射的复杂性，未对中间推理的正确性进行直接评估。

实验结果

研究问题

• RQ1 对语言线索——个性、情绪和心理——进行推理，是否能提升大语言模型生成对话响应的质量？
• RQ2 在多种对话场景下，Cue-CoT与标准提示相比，在响应有用性和可接受性方面表现如何？
• RQ3 M-Cue CoT是否在推理鲁棒性和响应质量方面优于O-Cue CoT？
• RQ4 中间推理结果能否有效用于少样本设置下的演示选择？
• RQ5 在使用Cue-CoT时，不同大语言模型在多语言深度对话基准上的表现如何？

主要发现

• 在所有6个数据集的零样本和少样本设置下，Cue-CoT在有用性和可接受性方面均显著优于标准提示方法。
• M-Cue CoT在所有数据集和大语言模型上均展现出优于O-Cue CoT的鲁棒性和推理性能。
• 基于中间推理结果的演示选择策略在少样本设置下表现优于随机选择或仅选Top-1结果。
• 实证结果表明，大语言模型对提示设计极为敏感，最优提示对性能至关重要。
• 大多数大语言模型在英语（区域2）或中文（区域3）中表现优于同时处理两种语言（区域4）的情况，表明需要更好的多语言对齐能力。
• 本研究揭示了评估中间推理过程的挑战，原因在于对话响应生成存在一对多的特性，且可能存在通过错误推理得出正确答案的情况。