[论文解读] Jointly Optimizing State Operation Prediction and Value Generation for Dialogue State Tracking

Yan Zeng, Jian‐Yun Nie|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 29被引用 16

一句话总结

该论文提出了一种纯Transformer架构的框架——Transformer-DST，通过联合优化开放词汇多领域对话状态追踪中的状态操作预测与值生成，实现了端到端的性能提升。通过在扁平化的编码器-解码器架构中重用编码器隐藏状态，该方法实现了对BERT模型在两个任务上的有效联合微调，在MultiWOZ 2.1数据集上达到55.35%的联合目标准确率，且训练收敛速度更快、更稳定，优于先前方法。

ABSTRACT

We investigate the problem of multi-domain Dialogue State Tracking (DST) with open vocabulary. Existing approaches exploit BERT encoder and copy-based RNN decoder, where the encoder predicts the state operation, and the decoder generates new slot values. However, in such a stacked encoder-decoder structure, the operation prediction objective only affects the BERT encoder and the value generation objective mainly affects the RNN decoder. In this paper, we propose a purely Transformer-based framework, where a single BERT works as both the encoder and the decoder. In so doing, the operation prediction objective and the value generation objective can jointly optimize this BERT for DST. At the decoding step, we re-use the hidden states of the encoder in the self-attention mechanism of the corresponding decoder layers to construct a flat encoder-decoder architecture for effective parameter updating. Experimental results show that our approach substantially outperforms the existing state-of-the-art framework, and it also achieves very competitive performance to the best ontology-based approaches.

研究动机与目标

• 解决现有堆叠式编码器-解码器模型中状态操作预测与值生成任务解耦优化导致的性能不佳问题。
• 通过消除堆叠结构，实现单个BERT模型在操作预测与值生成任务上的联合微调。
• 通过在解码器的自注意力机制中重用编码器的隐藏状态，提升编码器参数更新效率。
• 在不依赖外部知识或大规模预训练的前提下，实现开放词汇、多领域对话状态追踪的最先进性能。
• 与现有生成式框架相比，展示更快且更稳定的收敛特性。

提出的方法

• 使用单个BERT模型同时充当编码器和解码器，替代传统的BERT-RNN堆叠架构。
• 通过使用不同的输入表示和从左到右的自注意力掩码，区分编码器与解码器的角色。
• 将当前对话轮次的编码器隐藏状态以及[_SLOT] token的隐藏状态重用于解码器的自注意力层，构建扁平化架构。
• 仅重用最相关的隐藏状态（当前轮次和槽位特定表示）可防止无关上下文导致的性能下降。
• 通过端到端训练，联合优化状态操作预测与值生成目标。
• 使用单一优化器进行训练，实现两个任务间有效的参数更新。

实验结果

研究问题

• RQ1 统一的Transformer框架能否在对话状态追踪中联合优化状态操作预测与值生成？
• RQ2 在解码器的自注意力机制中重用编码器隐藏状态是否能提升参数更新效率与模型性能？
• RQ3 扁平化的编码器-解码器结构能否在开放词汇DST中超越堆叠式BERT-RNN架构？
• RQ4 在准确率、收敛速度与资源效率方面，该模型相较于最先进方法表现如何？
• RQ5 为实现最大性能，应在解码器中重用哪一组编码器隐藏状态？

主要发现

• 在MultiWOZ 2.1数据集上，Transformer-DST达到55.35%的联合目标准确率，较之前最先进生成式框架高出2.3个百分点。
• 在MultiWOZ 2.0数据集上，模型达到54.64%的联合目标准确率，较先前最先进方法提升2.9%。
• 与基线框架相比，该模型在训练迭代次数减半的情况下达到最佳性能。
• 由于两个任务的联合优化，模型展现出显著更快且更稳定的训练动态。
• 仅重用当前对话轮次和[_SLOT] token的隐藏状态可获得最佳性能，优于完全重用或其它组合方式。
• 尽管仅使用一个P100 GPU且未引入外部知识，该模型仍达到或超越了需要更大模型和额外监督的现有方法的性能。