[论文解读] Goal-Oriented Multi-Task BERT-Based Dialogue State Tracker

P. A. Gulyaev, Eugenia Elistratova+4 more|arXiv (Cornell University)|Feb 5, 2020

Topic Modeling参考文献 21被引用 10

一句话总结

该论文提出 GOLOMB，一种基于 BERT 的目标导向多任务对话状态追踪模型，通过使用槽位、服务和意图描述作为查询，将 DST 任务建模为阅读理解任务。该方法在 SGD 数据集上实现了 53.97% 的联合目标准确率，通过跨度预测和多任务学习优于基线模型，且无需预计算的模式嵌入，从而实现对未见领域和槽位类型的零样本泛化能力。

ABSTRACT

Dialogue State Tracking (DST) is a core component of virtual assistants such as Alexa or Siri. To accomplish various tasks, these assistants need to support an increasing number of services and APIs. The Schema-Guided State Tracking track of the 8th Dialogue System Technology Challenge highlighted the DST problem for unseen services. The organizers introduced the Schema-Guided Dialogue (SGD) dataset with multi-domain conversations and released a zero-shot dialogue state tracking model. In this work, we propose a GOaL-Oriented Multi-task BERT-based dialogue state tracker (GOLOMB) inspired by architectures for reading comprehension question answering systems. The model "queries" dialogue history with descriptions of slots and services as well as possible values of slots. This allows to transfer slot values in multi-domain dialogues and have a capability to scale to unseen slot types. Our model achieves a joint goal accuracy of 53.97% on the SGD dataset, outperforming the baseline model.

研究动机与目标

• 为解决多领域、多服务虚拟助手中零样本对话状态追踪的挑战。
• 在无需微调或预计算模式表示的情况下，实现对未见服务和槽位类型的鲁棒泛化。
• 在领域切换和罕见槽值对常见的多领域对话中，提升联合目标准确率。
• 开发一种可扩展的、与模式无关的 DST 模型，通过自然语言描述在领域间迁移知识。
• 通过采用统一的、端到端可训练的架构，克服基于本体的模型的局限性。

提出的方法

• 该模型将对话状态追踪视为阅读理解任务，其中‘问题’由槽位、意图和模式描述构成。
• 使用 BERT 编码器联合编码对话历史和模式描述，使用特殊标记（u_cls、u_pv、u_int）进行分类和跨度预测。
• 对于类别型槽位值，采用特殊的 [pv] 标记从可能值列表中预测正确值，相比 CLS 池化方法性能更优。
• 通过多个特定任务的头，联合优化意图分类、请求槽预测和槽值预测。
• 利用 SQuAD 预训练的 BERT 以获得更好的上下文理解能力，尽管这略微降低了平均目标准确率。
• 该架构避免使用固定的模式嵌入，仅依赖自然语言描述即可实现对新模式的零样本适应。

实验结果

研究问题

• RQ1 对话状态追踪模型是否能在无需微调或预计算模式表示的情况下，泛化到未见的服务和槽位类型？
• RQ2 将 DST 建模为阅读理解任务，如何提升多领域对话中的零样本泛化能力？
• RQ3 与 [CLS] 池化相比，使用特殊 [pv] 标记进行类别型槽位值预测有何影响？
• RQ4 通过意图、请求槽和槽值预测的多任务学习，如何影响联合目标准确率？
• RQ5 尽管存在领域差异，SQuAD 预训练在 SGD 数据集上的性能提升程度如何？

主要发现

• GOLOMB 在 SGD 开发集上实现了 53.97% 的联合目标准确率，优于基线模型的 41.1%。
• 消融实验表明，使用 [pv] 标记进行槽值预测相比仅使用 [CLS] 池化，可将联合目标准确率提高约 6%。
• 引入槽位和领域自然语言描述（NLD）可提升性能，但相较于 [pv] 标记方法，增益较为有限。
• 增加意图预测头可使联合目标准确率提升约 1%，表明多任务学习可整体提升追踪质量。
• 该模型在 'location'、'date'、'destination' 和 'destination_city' 等槽位上表现较差，错误率高达 12%，主要由领域切换混淆和标签噪声引起。
• 该模型在领域转换时表现不佳，当上下文中未明确提及新槽位值时，常无法正确传递槽值。