[论文解读] Self-Explanation Prompting Improves Dialogue Understanding in Large Language Models

Haoyu Gao, Ting-En Lin+5 more|arXiv (Cornell University)|Sep 22, 2023

Topic Modeling被引用 4

一句话总结

本文提出自解释提示（Self-Explanation Prompting），一种与任务无关的零样本提示策略，通过在任务完成前要求模型为每个话语生成解释，从而提升大语言模型对多轮对话的理解能力。该方法显著优于其他零样本提示方法，并在六个对话基准数据集上达到或超过 few-shot 提示的性能，证明了其在无需微调的情况下增强了上下文理解能力。

ABSTRACT

Task-oriented dialogue (TOD) systems facilitate users in executing various activities via multi-turn dialogues, but Large Language Models (LLMs) often struggle to comprehend these intricate contexts. In this study, we propose a novel "Self-Explanation" prompting strategy to enhance the comprehension abilities of LLMs in multi-turn dialogues. This task-agnostic approach requires the model to analyze each dialogue utterance before task execution, thereby improving performance across various dialogue-centric tasks. Experimental results from six benchmark datasets confirm that our method consistently outperforms other zero-shot prompts and matches or exceeds the efficacy of few-shot prompts, demonstrating its potential as a powerful tool in enhancing LLMs' comprehension in complex dialogue tasks.

研究动机与目标

• 为解决大语言模型（LLMs）在复杂、多轮任务导向对话（TOD）中上下文理解能力有限的问题，其中以推理为导向的提示方法（如思维链）表现不佳。
• 通过开发一种增强上下文理解能力的零样本提示策略，减少对 few-shot 示范或微调的依赖。
• 创建一种与任务无关的提示方法，可广泛应用于各类以对话为中心的任务，包括对话状态追踪和下一步动作预测。
• 提升大语言模型在长上下文、依赖外部搜索的对话任务中的表现，其中答案检索高度依赖上下文理解而非推理能力。
• 证明自解释可增强模型性能，通过在任务执行前强化内部上下文处理能力。

提出的方法

• 该方法引入一种提示模板，指示大语言模型在执行下游任务前，先对对话中的每个话语进行解释。
• 在每个对话轮次前，使用类似“请解释以下话语在对话上下文中的含义：”的前缀提示，随后接上特定任务的指令。
• 此自解释步骤迫使模型在生成最终响应前，分析并内化每个话语的含义。
• 该方法完全为零样本，无需标注示范或任务特定的微调。
• 该方法统一应用于多种对话任务，包括对话状态追踪、槽位填充和下一步动作预测。
• 解释步骤被整合到输入提示中，使其可兼容任意大语言模型，并可轻松部署于不同对话数据集。

Figure 1: The input example for the reasoning task and the task-oriented dialogue is structured into two components: Context and Question.

实验结果

研究问题

• RQ1 一种简单的自解释提示策略是否能在不进行微调的情况下，提升大语言模型在多轮对话中的上下文理解能力？
• RQ2 自解释提示与现有零样本提示方法（如思维链）相比，在对话理解任务中的表现如何？
• RQ3 该方法是否能在包括长上下文和外部答案搜索空间在内的多样化对话任务中实现泛化？
• RQ4 自解释提示是否能在对话理解任务中达到与 few-shot 提示相当的性能？
• RQ5 要求话语级别的解释是否能带来比直接任务提示更强的上下文定位能力？

主要发现

• 自解释提示在六个基准对话数据集（包括 MultiWOZ、SGD 和 MultiArith）上，始终优于所有其他零样本提示基线。
• 该方法在性能上达到或超过 few-shot 提示策略，展现出强大的零样本有效性。
• 在 MultiWOZ 数据集上，该方法显著提升了对话状态追踪的准确率，优于标准思维链和零样本基线。
• 该方法在多种对话任务中表现出鲁棒性，包括需要长上下文理解与外部知识检索的任务。
• 性能提升归因于更好的上下文定位能力，因为自解释步骤增强了模型对对话历史的追踪与推理能力。
• 该方法与任务无关，无需架构或提示工程修改，可统一应用于不同对话任务。

Figure 2: Example inputs and outputs of GPT-3 with No explanation ahead (upper) and Explain before answer (lower). Explanation greatly improves the understanding of the dialogue.