[论文解读] A Dual Prompt Learning Framework for Few-Shot Dialogue State Tracking

Yuting Yang, Wenqiang Lei+4 more|arXiv (Cornell University)|Jan 15, 2022

Speech and dialogue systems被引用 7

一句话总结

本文提出了一种用于少样本对话状态追踪的双提示学习框架，将槽位和值的生成视为双重任务，通过两个专用提示利用预训练语言模型。该方法在低资源 DST 基准上实现了最先进性能，并且无需依赖预定义的槽位本体即可生成未见槽位。

ABSTRACT

Dialogue state tracking (DST) module is an important component for task-oriented dialog systems to understand users' goals and needs. Collecting dialogue state labels including slots and values can be costly, especially with the wide application of dialogue systems in more and more new-rising domains. In this paper, we focus on how to utilize the language understanding and generation ability of pre-trained language models for DST. We design a dual prompt learning framework for few-shot DST. Specifically, we consider the learning of slot generation and value generation as dual tasks, and two prompts are designed based on such a dual structure to incorporate task-related knowledge of these two tasks respectively. In this way, the DST task can be formulated as a language modeling task efficiently under few-shot settings. Experimental results on two task-oriented dialogue datasets show that the proposed method not only outperforms existing state-of-the-art few-shot methods, but also can generate unseen slots. It indicates that DST-related knowledge can be probed from PLM and utilized to address low-resource DST efficiently with the help of prompt learning.

研究动机与目标

• 解决由于对话状态标签标注成本高而导致的低资源对话状态追踪挑战。
• 克服现有少样本 DST 方法依赖领域相似性或预定义槽位本体的局限性。
• 在不了解槽位类型或缺乏大量训练数据的情况下，实现未见槽位和值的生成。
• 探索提示学习在探测和利用预训练语言模型中特定任务知识以用于 DST 的潜力。
• 通过双提示设计将 DST 统一为语言建模任务，以提升少样本泛化能力。

提出的方法

• 设计两种不同的提示：一种是基于值和对话历史来生成槽位的值提示；另一种是基于槽位来生成值的槽位提示。
• 使用类似 "[value] belief states: [dialogue history]" 的模板构建值提示函数，以引导槽位生成。
• 使用类似 "[slot] belief states: [dialogue history]" 的模板构建槽位提示函数，以引导值生成。
• 使用结合两项提示学习任务的多任务学习目标，通过加权损失端到端训练模型。
• 以预训练语言模型（如 RoBERTa）作为主干网络，并使用双提示信号进行微调。
• 推理时，先生成值候选，再利用它们构建值提示并预测对应的槽位。

实验结果

研究问题

• RQ1 提示学习能否有效将预训练语言模型的知识迁移至少样本对话状态追踪？
• RQ2 将槽位和值生成视为独立但相互依赖的任务的双提示框架，能否提升少样本 DST 性能？
• RQ3 该模型在多大程度上能够生成训练数据或预定义槽位本体中均未出现的槽位和值？
• RQ4 槽位与值提示监督之间的平衡如何影响模型性能？
• RQ5 在低资源设置下，双提示设计是否优于单提示或序列到序列生成基线方法？

主要发现

• 所提出的双提示学习框架在两个基准任务导向对话数据集的少样本设置下实现了最先进性能。
• 该模型在低数据场景（如 1% 训练数据）下持续优于现有少样本 DST 方法。
• 该框架成功生成了源领域或预定义本体中均未包含的未见槽位的对话状态。
• 消融实验表明，槽位提示作为有用的辅助信号，当其损失权重设为 0.1 时性能最佳。
• 实验结果证实，双提示设计在低资源 DST 中比单提示或标准微调方法具有更好的泛化能力。