[论文解读] A Fast and Robust BERT-based Dialogue State Tracker for Schema-Guided Dialogue Dataset

Vahid Noroozi, Yang Zhang+2 more|arXiv (Cornell University)|Aug 27, 2020

Topic Modeling参考文献 18被引用 10

一句话总结

该论文提出 FastSGT，一种针对 Schema-Guided Dialogue（SGD）数据集的快速且鲁棒的基于 BERT 的对话状态追踪器，采用单次前向推理、跨轮次与跨服务的双通道值传播机制，以及基于注意力的解码器投影以提升编码话语的建模效果。该模型在 SGD 开发集上实现了 88.66% 的联合目标准确率，在测试集上达到 83.12%，显著优于基线模型，同时保持了较低的计算与内存开销。

ABSTRACT

Dialog State Tracking (DST) is one of the most crucial modules for goal-oriented dialogue systems. In this paper, we introduce FastSGT (Fast Schema Guided Tracker), a fast and robust BERT-based model for state tracking in goal-oriented dialogue systems. The proposed model is designed for the Schema-Guided Dialogue (SGD) dataset which contains natural language descriptions for all the entities including user intents, services, and slots. The model incorporates two carry-over procedures for handling the extraction of the values not explicitly mentioned in the current user utterance. It also uses multi-head attention projections in some of the decoders to have a better modelling of the encoder outputs. In the conducted experiments we compared FastSGT to the baseline model for the SGD dataset. Our model keeps the efficiency in terms of computational and memory consumption while improving the accuracy significantly. Additionally, we present ablation studies measuring the impact of different parts of the model on its performance. We also show the effectiveness of data augmentation for improving the accuracy without increasing the amount of computational resources.

研究动机与目标

• 解决现有基于 BERT 的对话状态追踪器在 Schema-Guided Dialogue（SGD）数据集上效率低下和内存消耗过高的问题。
• 通过实现跨对话轮次与服务的槽值有效传递，提升状态追踪准确率，即使在值未被显式提及的情况下也能保持。
• 通过在解码器中引入多头注意力投影，更好地利用编码器输出，从而增强对编码话语的建模能力。
• 评估数据增强在不增加计算成本的前提下提升模型泛化能力的有效性。
• 通过消融研究分离关键组件（如通道传递机制和注意力投影）对性能的影响。

提出的方法

• FastSGT 采用单次前向推理机制，实现端到端状态追踪，仅需一次前向传播，显著降低训练与推理时间。
• 提出两种通道传递机制：服务内通道传递用于从先前系统轮次传播值，跨服务通道传递用于在不同服务间传递值。
• 在解码器中使用多头注意力投影，以关注所有编码器隐藏状态，从而在 [CLS] token 之外实现更优的表征学习。
• 利用 SGD 模式中自然语言描述的特性，增强语义泛化能力与零样本迁移能力，适用于相似槽与服务。
• 通过在对话中随机将非类别槽值替换为同一槽位的其他有效值，实现数据增强，同时保持对话一致性。
• 模型在 SGD 和 SGD+ 数据集上进行训练与评估，并通过消融研究分离各组件的贡献。

实验结果

研究问题

• RQ1 单次前向推理的基于 BERT 的对话状态追踪器是否能在降低计算与内存开销的同时，实现比多轮次基线更高的准确率？
• RQ2 服务内与跨服务通道传递机制在跨对话轮次与服务中保持槽值方面的有效性如何？
• RQ3 与仅使用 [CLS] token 相比，基于注意力的解码器投影在建模编码器输出方面能提升多少性能？
• RQ4 数据增强是否能在不增加训练步数或计算负载的前提下提升模型性能？
• RQ5 通过消融研究，哪些模型组件对性能提升贡献最大？

主要发现

• FastSGT 在应用数据增强后，于 SGD 开发集上实现 88.66% 的联合目标准确率，测试集上达到 83.12%，显著优于基线模型。
• 服务内通道传递机制在 SGD 数据集上使联合目标准确率提升 1.2%，而跨服务通道传递在多领域对话中提升 1.0%。
• 基于注意力的解码器投影相比仅使用 [CLS] token 的模型，使联合目标准确率提升 0.5%。
• 数据增强使 SGD 开发集上的联合目标准确率提升 0.63 分，测试集上提升 1.06 分，且未增加训练步数。
• 消融研究显示，通道传递机制是性能提升的主要驱动力，贡献超过基线改进的 80%。
• 该模型保持了高效率，推理与训练时间显著低于多轮次模型，适用于实时部署。