[论文解读] Clarify When Necessary: Resolving Ambiguity Through Interaction with LMs

Michael J. Q. Zhang, Eunsol Choi|arXiv (Cornell University)|Nov 16, 2023

Topic Modeling被引用 4

一句话总结

本文提出了一种与任务无关的框架，通过交互式澄清来解决大语言模型中的歧义问题，将该过程分解为三个阶段：检测何时需要澄清、生成有效的澄清问题，以及准确响应用户的回答。其主要贡献是提出了一种新颖的不确定性估计方法——Intent-Sim，该方法利用意图熵来识别何时澄清能提升性能，在仅对10%的输入进行澄清时，性能提升效果达到基线方法的两倍。

ABSTRACT

Resolving ambiguities through interaction is a hallmark of natural language, and modeling this behavior is a core challenge in crafting AI assistants. In this work, we study such behavior in LMs by proposing a task-agnostic framework for resolving ambiguity by asking users clarifying questions. Our framework breaks down this objective into three subtasks: (1) determining when clarification is needed, (2) determining what clarifying question to ask, and (3) responding accurately with the new information gathered through clarification. We evaluate systems across three NLP applications: question answering, machine translation and natural language inference. For the first subtask, we present a novel uncertainty estimation approach, intent-sim, that determines the utility of querying for clarification by estimating the entropy over user intents. Our method consistently outperforms existing uncertainty estimation approaches at identifying predictions that will benefit from clarification. When only allowed to ask for clarification on 10% of examples, our system is able to double the performance gains over randomly selecting examples to clarify. Furthermore, we find that intent-sim is robust, demonstrating improvements across a wide range of NLP tasks and LMs. Together, our work lays foundation for studying clarifying interactions with LMs.

研究动机与目标

• 通过使系统能够检测何时需要澄清，来建模大语言模型中的交互式歧义消解。
• 开发一个生成有效澄清问题的框架，以揭示用户意图的歧义。
• 通过准确响应用户提供的澄清信息，提升下游任务的性能。
• 在包括问答、机器翻译和自然语言推理在内的多种自然语言处理任务中评估该框架。
• 提出并验证Intent-Sim，这是一种新颖的不确定性估计方法，用于识别那些通过澄清能受益的歧义输入。

提出的方法

• 该框架被划分为三个顺序子任务：(1) 决定何时提出澄清请求，(2) 生成澄清问题，(3) 利用用户的回答生成正确输出。
• Intent-Sim通过模拟多次用户-助手交互并计算预测用户意图的熵来估计不确定性。
• 该方法利用来自歧义输入的多个标注，来建模用户意图的自然分布，并计算意图熵。
• 在评估中，作者使用由人工生成的澄清问答对，以隔离并评估澄清生成模块和响应模块的性能。
• 系统在三个自然语言处理任务——问答、机器翻译和自然语言推理——上进行评估，使用现有包含多份标注的歧义数据集。
• 性能通过最终任务准确率和AUROC进行衡量，重点是在最小化交互成本的同时最大化性能增益。

Figure 1: Our three-stage framework for resolving ambiguity with clarification questions. In the first step, systems must identify which inputs will benefit from clarification. In the second step, after deciding to clarify, we provide systems with a clarifying QA pair corresponding to the gold inter

实验结果

研究问题

• RQ1 基于意图熵的不确定性估计能否有效识别出那些通过澄清能受益的歧义输入？
• RQ2 当仅对少量输入（如10%）进行澄清时，所提出的框架在提升下游任务性能方面表现如何？
• RQ3 Intent-Sim方法在不同自然语言处理任务和大语言模型架构中的鲁棒性如何？
• RQ4 澄清问题的质量在用户反馈后对最终输出准确率的影响有多大？
• RQ5 一种与任务无关的歧义消解框架能否有效应用于问答、机器翻译和自然语言推理等多样化自然语言应用？

主要发现

• Intent-Sim在识别那些通过澄清能受益的歧义输入方面，优于现有的不确定性估计方法。
• 当仅对10%的输入进行澄清时，该系统实现的性能增益是随机选择方法的两倍。
• Intent-Sim在所有评估任务和大语言模型中均表现出一致的性能提升，在六组大模型-任务设置中的四组中表现最佳。
• 即使在交互预算较低的情况下，该方法仍表现出强鲁棒性，尽管样本有限导致熵估计较粗糙，但依然保持高实用性。
• 该框架通过使大语言模型能够检测歧义并利用用户反馈进行交互式消解，成功提升了最终任务的准确率。
• 结果表明，基于意图熵的不确定性估计作为澄清触发信号，比基于似然或启发式的方法更为有效。