[论文解读] MA-DST: Multi-Attention Based Scalable Dialog State Tracking

Adarsh Kumar, Peter Ku+3 more|arXiv (Cornell University)|Feb 7, 2020

Topic Modeling参考文献 29被引用 12

一句话总结

MA-DST 提出了一种用于可扩展对话状态追踪的多注意力机制，通过跨多个粒度的交叉注意力和自注意力机制增强上下文编码，以解决跨领域指代问题。该方法在 MultiWOZ 2.1 数据集上实现了联合目标准确率 5% 的绝对提升，在零样本设置下最高提升达 2%，优于先前的 SOTA 模型，且无需预定义的本体结构。

ABSTRACT

Task oriented dialog agents provide a natural language interface for users to complete their goal. Dialog State Tracking (DST), which is often a core component of these systems, tracks the system's understanding of the user's goal throughout the conversation. To enable accurate multi-domain DST, the model needs to encode dependencies between past utterances and slot semantics and understand the dialog context, including long-range cross-domain references. We introduce a novel architecture for this task to encode the conversation history and slot semantics more robustly by using attention mechanisms at multiple granularities. In particular, we use cross-attention to model relationships between the context and slots at different semantic levels and self-attention to resolve cross-domain coreferences. In addition, our proposed architecture does not rely on knowing the domain ontologies beforehand and can also be used in a zero-shot setting for new domains or unseen slot values. Our model improves the joint goal accuracy by 5% (absolute) in the full-data setting and by up to 2% (absolute) in the zero-shot setting over the present state-of-the-art on the MultiWoZ 2.1 dataset.

研究动机与目标

• 通过更好地建模长距离依赖关系和跨领域引用，提升多领域任务导向对话系统中的对话状态追踪性能。
• 在不依赖预定义本体结构的前提下，实现对自由形式和未见槽值的鲁棒追踪。
• 通过在所有（领域，槽）对之间共享模型参数，提升可扩展性和泛化能力。
• 在 MultiWOZ 2.1 基准测试中，实现在全数据和零样本设置下的 SOTA 性能。
• 通过支持从对话历史中生成和复制槽值，减少对标注槽值的依赖。

提出的方法

• 模型使用槽表示与对话历史之间的多层次交叉注意力，以捕捉不同语义粒度下的关系。
• 应用自注意力层，通过建模早期和后期话语之间的依赖关系，解决跨领域的长距离指代问题。
• 该架构结合序列生成与指针机制，使其能够通过从对话历史中复制来生成未见的槽值。
• 通过在所有（领域，槽）对之间共享参数，实现在无需微调的情况下适应新领域，实现零样本迁移。
• 采用端到端训练方式，结合交叉熵损失用于生成任务和复制机制用于基于历史的值选择。
• 无需事先了解领域本体结构，因此适用于开放词汇和少样本场景。

实验结果

研究问题

• RQ1 多粒度注意力机制是否能改善对话历史与槽语义之间复杂依赖关系的建模？
• RQ2 自注意力机制在多领域对话状态追踪中，对解决长距离跨领域指代问题的效率如何？
• RQ3 统一的模型架构在无任何训练数据的新领域上（零样本设置）的泛化能力有多强？
• RQ4 基于注意力的架构是否能在联合目标准确率和零样本泛化能力上超越现有 SOTA 模型（如 TRADE）？
• RQ5 当前 SOTA DST 模型中最常见的错误类型是什么，MA-DST 如何减少这些错误？

主要发现

• MA-DST 在 MultiWOZ 2.1 数据集上实现了 51% 的联合目标准确率，相比之前 SOTA 模型绝对提升了 5%。
• 在零样本设置下，MA-DST 相比之前 SOTA 模型，联合目标准确率最高提升了 2%，展现出对未见领域的强大泛化能力。
• 该模型在分类槽上表现尤为出色，如 restaurant-bookday 和 hotel-bookstay 等槽的平均槽准确率超过 99%。
• 随着对话轮数增加，性能下降明显：在第 0 轮时联合准确率为 88%，到第 10 轮时降至 8%，凸显了长上下文建模的挑战。
• 约 36% 的错误源于数据集中错误的标注，表明数据质量对模型评估有显著影响。
• 常见错误类型包括同类型槽之间的混淆（如 hotel-name 与 attraction-name）以及细微的词汇差异（如 15.15 与 15:15），提示未来可通过模糊匹配或后处理进一步优化。