[论文解读] A Sequence-to-Sequence Approach to Dialogue State Tracking

Yue Feng, Yan Wang+1 more|arXiv (Cornell University)|Nov 18, 2020

Topic Modeling参考文献 38被引用 6

一句话总结

该论文提出Seq2Seq-DU，一种将对话状态追踪建模为翻译任务的序列到序列模型，采用BERT编码器表示对话和模式，结合注意力机制与指针生成网络，联合建模意图、槽位和值。该模型在多个基准数据集（包括SGD、MultiWOZ和WOZ2.0）上实现最先进性能，同时支持对未见模式的零样本泛化。

ABSTRACT

This paper is concerned with dialogue state tracking (DST) in a task-oriented dialogue system. Building a DST module that is highly effective is still a challenging issue, although significant progresses have been made recently. This paper proposes a new approach to dialogue state tracking, referred to as Seq2Seq-DU, which formalizes DST as a sequence-to-sequence problem. Seq2Seq-DU employs two BERT-based encoders to respectively encode the utterances in the dialogue and the descriptions of schemas, an attender to calculate attentions between the utterance embeddings and the schema embeddings, and a decoder to generate pointers to represent the current state of dialogue. Seq2Seq-DU has the following advantages. It can jointly model intents, slots, and slot values; it can leverage the rich representations of utterances and schemas based on BERT; it can effectively deal with categorical and non-categorical slots, and unseen schemas. In addition, Seq2Seq-DU can also be used in the NLU (natural language understanding) module of a dialogue system. Experimental results on benchmark datasets in different settings (SGD, MultiWOZ2.2, MultiWOZ2.1, WOZ2.0, DSTC2, M2M, SNIPS, and ATIS) show that Seq2Seq-DU outperforms the existing methods.

研究动机与目标

• 为解决任务导向对话中有效对话状态追踪的挑战，特别是处理多样化的槽位类型和未见模式的问题。
• 将意图、槽位和槽值预测统一到单一的联合建模框架中，克服以往方法独立处理这些任务的局限性。
• 通过利用基于BERT的编码器对对话历史和模式描述进行编码，提升模型的可扩展性和表征能力。
• 实现对未见模式和领域的零样本推理，提升模型在训练数据之外的泛化能力。

提出的方法

• 使用两个基于BERT的编码器：一个用于编码对话历史，另一个用于编码以自然语言表示的模式描述。
• 采用注意力机制计算话语嵌入与模式嵌入之间的交互，捕捉相关的语义关联。
• 利用指针生成解码器生成代表模式中特定意图、槽位和槽值的输出标记。
• 将对话状态表示为指针序列，实现对分类和非分类槽位的联合建模。
• 通过依赖指针生成而非固定标签预测，支持少样本和零样本推理。
• 可通过将单轮理解视为对话状态追踪的特例，应用于DST和NLU任务。

实验结果

研究问题

• RQ1 序列到序列框架是否能比现有方法更有效地联合建模意图、槽位和槽值预测？
• RQ2 基于BERT且在对话和模式表征之间引入交叉注意力的模型，在未见模式和领域上的泛化能力如何？
• RQ3 指针生成解码器在处理分类和非分类槽位方面是否优于标准分类或抽取头？
• RQ4 该模型是否能在多样化的对话数据集上实现少样本和零样本设置下的强性能？
• RQ5 对话与模式表征之间的注意力机制在多大程度上提升了状态追踪的准确性？

主要发现

• Seq2Seq-DU在SGD数据集上实现最先进联合准确率，达到0.578，优于基线方法如TRADE（0.628）和FastSGT。
• 在MultiWOZ2.2上，Seq2Seq-DU的联合准确率为0.758，超过先前最先进方法DS-DST（0.706）和TRADE（0.628）。
• 在WOZ2.0上，Seq2Seq-DU优于BERT-DST，展现出在无模式描述的多轮对话中强大的性能。
• 该模型表现出强大的零样本泛化能力：在SGD中，未见模式的RideSharing领域联合准确率达到0.6702，Weather领域为0.5792，显示出稳健的跨领域迁移能力。
• Seq2Seq-DU在ATIS和SNIPS上的表现与Joint BERT相当，证实其在单轮NLU任务中的有效性。
• 在SGD和MultiWOZ2.2上，非分类槽位的联合准确率分别达到0.393和0.711，表明其对开放词汇槽值的有效处理能力。