[论文解读] Find or Classify? Dual Strategy for Slot-Value Predictions on Multi-Domain Dialog State Tracking

Jianguo Zhang, Kazuma Hashimoto+5 more|arXiv (Cornell University)|Oct 8, 2019

Speech and dialogue systems被引用 85

一句话总结

DS-DST 引入一种双策略，通过将强 slot-上下文交互的 BERT 问答框架应用于多领域对话状态跟踪，在 MultiWOZ 2.0 上达到最先进结果，在 2.1 上具有竞争力。

ABSTRACT

Dialog state tracking (DST) is a core component in task-oriented dialog systems. Existing approaches for DST mainly fall into one of two categories, namely, ontology-based and ontology-free methods. An ontology-based method selects a value from a candidate-value list for each target slot, while an ontology-free method extracts spans from dialog contexts. Recent work introduced a BERT-based model to strike a balance between the two methods by pre-defining categorical and non-categorical slots. However, it is not clear enough which slots are better handled by either of the two slot types, and the way to use the pre-trained model has not been well investigated. In this paper, we propose a simple yet effective dual-strategy model for DST, by adapting a single BERT-style reading comprehension model to jointly handle both the categorical and non-categorical slots. Our experiments on the MultiWOZ datasets show that our method significantly outperforms the BERT-based counterpart, finding that the key is a deep interaction between the domain-slot and context information. When evaluated on noisy (MultiWOZ 2.0) and cleaner (MultiWOZ 2.1) settings, our method performs competitively and robustly across the two different settings. Our method sets the new state of the art in the noisy setting, while performing more robustly than the best model in the cleaner setting. We also conduct a comprehensive error analysis on the dataset, including the effects of the dual strategy for each slot, to facilitate future research.

研究动机与目标

• 提出在跨域中本体可用性（部分/完整）变化时仍能稳健工作的 DST 的动机。
• 提出一个双策略模型（DS-DST），同时处理分类槽和非分类槽。
• 研究对话上下文与域-槽对之间的强交互如何影响性能。
• 在嘈杂的（MultiWOZ 2.0）和更清晰的（MultiWOZ 2.1）设置下评估鲁棒性。
• 提供错误分析以指导未来的 DST 研究。

提出的方法

• 将单一的基于 BERT 的问答框架改造成能够联合编码域-槽对和对话上下文。
• 引入一个槽门分类器，用以判定一个域-槽对是 None、dontcare，还是需要预测。
• 非分类槽通过对话上下文中的跨度预测（起始/结束位置）来处理。
• 分类槽通过对上下文化的域-槽表示与候选值之间的余弦相似度来处理，使用 hinge loss 进行训练。
• 启用一个单独、固定的 BERT 组件来编码分类槽的候选值，并计算相似度以进行 picklist 选择。
• 用组合损失共同训练所有组件：L_total = L_gate + L_span + L_picklist。

实验结果

研究问题

• RQ1 是否可以通过同时处理分类槽和非分类槽的双策略，在跨域 DST 中超越仅 ontology、仅 span 的方法？
• RQ2 对话上下文与域-槽信息之间的交互如何影响槽值预测？
• RQ3 部分本体与完整本体对 DST 性能和鲁棒性的影响是什么？
• RQ4 哪些槽类型最能从分类（picklist） vs 非分类（span）方法获益？
• RQ5 DS-DST 在更嘈杂的 MultiWOZ 2.0 与更干净的 MultiWOZ 2.1 数据集上的表现如何？

主要发现

• DS-DST 在 MultiWOZ 2.0 上取得强劲表现，在 2.1 上取得具有竞争力的结果，展示了在不同设置下的鲁棒性。
• 将三个模块（gate、span、picklist）联合训练的效果优于分开训练各个槽。
• 某些槽（如 hotel-type、internet、parking）由于表达变化多样，非 span 捕捉困难，因此从分类槽方法获益更大。
• 当本体可用时，picklist 变体相对于 DS-DST 进一步提高了性能。
• 错误分析显示，对于高 span-unfound 率的槽，双策略带来显著提升，并指出时间相关槽对基于 span 的方法具有挑战性。