[论文解读] A Simple but Effective BERT Model for Dialog State Tracking on Resource-Limited Systems

Tuan Lai, Quan Hung Tran+2 more|arXiv (Cornell University)|Oct 28, 2019

Topic Modeling参考文献 24被引用 4

一句话总结

该论文提出了一种简单且参数高效的基于BERT的对话状态追踪（DST）模型，将每个槽值对视为序列输入，从而实现对新本体条目的零样本泛化。通过应用知识蒸馏，该模型在WoZ 2.0数据集上实现了最先进性能，同时模型参数量仅为原始BERT模型的1/8，推理速度提升7倍，且准确率损失极小。

ABSTRACT

In a task-oriented dialog system, the goal of dialog state tracking (DST) is to monitor the state of the conversation from the dialog history. Recently, many deep learning based methods have been proposed for the task. Despite their impressive performance, current neural architectures for DST are typically heavily-engineered and conceptually complex, making it difficult to implement, debug, and maintain them in a production setting. In this work, we propose a simple but effective DST model based on BERT. In addition to its simplicity, our approach also has a number of other advantages: (a) the number of parameters does not grow with the ontology size (b) the model can operate in situations where the domain ontology may change dynamically. Experimental results demonstrate that our BERT-based model outperforms previous methods by a large margin, achieving new state-of-the-art results on the standard WoZ 2.0 dataset. Finally, to make the model small and fast enough for resource-restricted systems, we apply the knowledge distillation method to compress our model. The final compressed model achieves comparable results with the original model while being 8x smaller and 7x faster.

研究动机与目标

• 为解决现有神经网络DST模型的复杂性与可扩展性问题，这些模型通常需为每种槽类型单独训练模型，且在生产环境中难以维护。
• 通过将槽值预测与固定本体约束解耦，实现在不重新训练的情况下动态适应变化的领域本体。
• 开发一种轻量化、高效的DST模型，适用于资源受限系统（如移动设备）。
• 证明简单微调的BERT模型可在标准DST基准上超越复杂且高度工程化的先前方法。

提出的方法

• 模型使用标准BERT-base编码器，将对话上下文与候选槽值对拼接为单个输入序列进行编码。
• 每个候选槽值对通过BERT独立处理，利用[CLS] token的表示预测该对的相关性得分。
• 所有槽类型共享参数，因此参数量不随本体规模增长。
• 应用知识蒸馏将完整BERT模型压缩为层数更少、隐藏维度更小的学生模型。
• 使用完整模型生成的软标签对蒸馏模型进行微调，以在减小模型大小和推理时间的同时保持性能。
• 在CPU和GPU上评估最终压缩模型，以展示其在真实部署场景中的效率优势。

实验结果

研究问题

• RQ1 一个简单统一的基于BERT的架构是否能在WoZ 2.0等标准基准上超越复杂且针对槽类型定制的DST模型？
• RQ2 以序列到序列方式训练的基于BERT的DST模型是否能在不重新训练的情况下泛化到未见过的槽值对？
• RQ3 知识蒸馏是否能有效压缩大型BERT模型用于DST，同时保持高准确率，并显著提升推理速度与减小模型大小？
• RQ4 在准确率、模型大小与推理速度方面，蒸馏模型的性能与其它最先进模型相比如何？

主要发现

• 完整BERT模型在WoZ 2.0测试集上达到90.5%的联合目标准确率和97.6%的轮次请求准确率，优于所有先前方法。
• 蒸馏学生模型达到90.4%的联合目标准确率和97.7%的轮次请求准确率，性能与完整模型相当，但在CPU上模型大小仅为1/8，推理速度提升7倍。
• 该蒸馏模型在大小（55MB）和速度上优于多个先前的基于BERT的模型，包括DistilBERT（270MB）和Apple Core ML BERT（220MB）。
• 在CPU上，该蒸馏模型每轮推理耗时0.205秒，比完整模型（1.465秒）快7倍，比DistilBERT（0.579秒）快3倍。
• 该蒸馏模型参数量（14M）少于GLAD（17M）——一种非BERT基模型，证明了知识蒸馏在DST任务中的有效性。
• 该模型能泛化到训练阶段未见过的新槽值对，当本体发生变化时无需重新训练。