[论文解读] Multi-Domain Dialogue State Tracking - A Purely Transformer-Based Generative Approach.

Yan Zeng, Jian‐Yun Nie|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 29被引用 8

一句话总结

该论文提出了一种完全基于Transformer的生成式多领域对话状态追踪框架，支持开放词汇表，采用BERT作为编码器和解码器，联合优化操作预测与槽值生成。通过在解码器的自注意力机制中重用编码器隐藏状态，该方法实现了最先进性能，优于现有的堆叠编码器-解码器模型，并与最佳基于知识库的方法相当。

ABSTRACT

We investigate the problem of multi-domain Dialogue State Tracking (DST) with open vocabulary. Existing approaches exploit BERT encoder and copy-based RNN decoder, where the encoder first predicts the state operation, and then the decoder generates new slot values. However, in this stacked encoder-decoder structure, the operation prediction objective only affects the BERT encoder and the value generation objective mainly affects the RNN decoder. In this paper, we propose a purely Transformer-based framework that uses BERT as both encoder and decoder. In so doing, the operation prediction objective and the value generation objective can jointly optimize our model for DST. At the decoding step, we re-use the hidden states of the encoder in the self-attention mechanism of the corresponding decoder layer to construct a flat model structure for effective parameter updating. Experimental results show that our approach substantially outperforms the existing state-of-the-art framework, and it also achieves very competitive performance to the best ontology-based approaches.

研究动机与目标

• 解决堆叠编码器-解码器架构在多领域对话状态追踪（DST）中的局限性，其优化目标被解耦。
• 通过统一的Transformer架构，实现操作预测与槽值生成的联合优化。
• 消除对RNN解码器和复制机制的依赖，采用扁平化、端到端可训练的结构。
• 通过将BERT同时用作编码器和解码器并实现共享表征学习，提升开放词汇表DST的性能。
• 在无需预定义槽值词汇表的情况下，实现与最佳基于知识库的DST系统相当的性能。

提出的方法

• 提出一种完全基于Transformer的框架，其中BERT同时作为编码器和解码器，取代传统的堆叠编码器-解码器设置。
• 直接在解码器的自注意力机制中重用编码器的隐藏状态，以保持表征一致性并实现有效的参数更新。
• 将操作预测与值生成整合到单一生成目标中，实现对两个任务的联合优化。
• 消除对独立操作预测头和RNN解码器的需求，将架构简化为扁平化的Transformer结构。
• 采用序列到序列的生成方法，不使用复制机制，完全依赖注意力机制和自回归解码。
• 使用单一BERT模型同时编码对话上下文并解码对话状态，实现参数共享和端到端训练。

实验结果

研究问题

• RQ1 是否能够通过共享BERT编码器和解码器的纯Transformer架构，在多领域DST中超越现有堆叠编码器-解码器模型？
• RQ2 在统一框架中联合优化操作预测与值生成，是否相比解耦目标能提升DST性能？
• RQ3 扁平化、端到端的Transformer模型是否能在不依赖预定义槽值本体或复制机制的情况下实现具有竞争力的性能？
• RQ4 在解码器的自注意力机制中重用编码器隐藏状态，对模型性能和训练效率有何影响？
• RQ5 纯生成式、开放词汇表的方法在多大程度上能与最佳基于知识库的DST系统性能相当？

主要发现

• 所提出的纯Transformer框架显著优于现有最先进框架（该框架使用BERT编码器和RNN解码器）。
• 尽管处于开放词汇表设置下，该模型在性能上仍与最佳基于知识库的DST方法相当。
• 通过统一架构联合优化操作预测与值生成，相比解耦训练目标，性能得到提升。
• 在解码器自注意力机制中重用编码器隐藏状态，提升了参数效率并增强了模型一致性。
• 该模型在开放词汇表DST中展现出强大的泛化能力，无需预定义槽值词汇表。
• 消融实验确认，所提出的架构设计相比基线堆叠模型显著提升了DST准确率。