[论文解读] Few-Shot Bot: Prompt-Based Learning for Dialogue Systems

Andrea Madotto, Zhaojiang Lin+2 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling参考文献 103被引用 45

一句话总结

基于提示的少样本学习结合大型语言模型在多样化任务上可达到与全面训练的对话模型相当的结果，而 Few-Shot Bot (FSB) 通过基于提示的技能选择器在不进行微调的情况下自动选择技能。

ABSTRACT

Learning to converse using only a few examples is a great challenge in conversational AI. The current best conversational models, which are either good chit-chatters (e.g., BlenderBot) or goal-oriented systems (e.g., MinTL), are language models (LMs) fine-tuned on large conversational datasets. Training these models is expensive, both in terms of computational resources and time, and it is hard to keep them up to date with new conversational skills. A simple yet unexplored solution is prompt-based few-shot learning (Brown et al. 2020) which does not require gradient-based fine-tuning but instead uses a few examples in the LM context as the only source of learning. In this paper, we explore prompt-based few-shot learning in dialogue tasks. We benchmark LMs of different sizes in nine response generation tasks, which include four knowledge-grounded tasks, a task-oriented generations task, three open-chat tasks, and controlled stylistic generation, and five conversational parsing tasks, which include dialogue state tracking, graph path generation, persona information extraction, document retrieval, and internet query generation. The current largest released LM (GPT-J-6B) using prompt-based few-shot learning, and thus requiring no training, achieves competitive performance to fully trained state-of-the-art models. Moreover, we propose a novel prompt-based few-shot classifier, that also does not require any fine-tuning, to select the most appropriate prompt given a dialogue history. Finally, by combining the power of prompt-based few-shot learning and a Skill Selector, we create an end-to-end chatbot named the Few-Shot Bot (FSB), which automatically selects the most appropriate conversational skill, queries different knowledge bases or the internet, and uses the retrieved knowledge to generate a human-like response, all using only few dialogue examples per skill.

研究动机与目标

• 通过利用基于提示的学习，推动减少对以梯度为基础的微调在对话系统中的依赖。
• 在广泛的对话任务和数据集上基准测试基于提示的少样本学习（包括知识驱动、任务导向、开放式聊天和解析任务）。
• 引入一个技能选择器，将对话历史映射到最合适的提示/技能，无需训练。
• 提出 Few-Shot Bot (FSB)，仅使用每个技能的少量示例提示来自动化技能选择、知识检索和响应生成。

提出的方法

• 使用语言模型在不进行梯度更新的情况下，通过拼接的少样本提示（X=对话历史，Y=响应）来计算 P(Y|X, Prompt_k)。
• 设计带有 k 次示例演示的特定任务提示（Prompt_k），以引导响应生成，以与微调进行基线比较。
• 引入基于提示的少-shot 技能选择器，通过对每个候选技能 y 评估 P(X|Prompt_k^y) 来在对话历史给定时选择最合适的提示。
• 通过将技能选择器与多个提示以及外部知识源（知识库、互联网、知识图谱）结合，来实现 Few-Shot Bot (FSB) 以生成知识锚定的响应。
• 在本地部署中将 GPT-J (6B) 作为主语言模型，在通过 API 访问更大模型时使用 GPT-Jurassic，进行 1-shot 提示以及跨任务的 0/1/k-shot 实验。

实验结果

研究问题

• RQ1 基于提示的少样本学习结合大型语言模型是否在多样化的对话任务上无需微调就能获得与完全训练模型相竞争的结果？
• RQ2 基于提示的技能选择器是否能有效为给定的对话历史识别出最合适的提示/技能？
• RQ3 模型规模和示例数量如何影响响应生成与对话解析任务的性能？
• RQ4 在困惑度和评估指标上，基于提示的少样本方法与最先进的全模型在差距方面有何比较？
• RQ5 端到端的 Few-Shot Bot 是否能够利用多种知识源在不进行模型训练的情况下生成类人且有依据的响应？

主要发现

• 更大的语言模型（GPT-J 6B）在各任务中始终优于较小模型，呈现规模与性能之间的线性关系。
• 更多的示例并不总是带来更好结果；在某些知识锚定任务中，最佳性能出现在较少样本时。
• 对话解析任务对基于提示的学习更具挑战，与最先进的全训练模型相比存在较大差距，后者可能从解码策略如束搜索中受益。
• FSB 与 SOTA 在困惑度上的差距相对较小，表明通过改进采样策略可能带来提升。
• 基于提示的技能选择器在不进行任何训练的情况下达到与微调 RoBERTa 基线相当的结果，便于通过新技能轻松扩展。
• 端到端的 Few-Shot Bot 能够访问多种知识源，跟踪用户偏好，并仅使用每个技能的少量示例提示来生成有依据的响应。