[论文解读] Fine-Tuning BERT for Schema-Guided Zero-Shot Dialogue State Tracking

Yu-Ping Ruan, Zhen-Hua Ling+2 more|arXiv (Cornell University)|Feb 1, 2020

Topic Modeling参考文献 12被引用 16

一句话总结

该论文提出了一种基于模式引导的对话状态追踪（SGP-DST）系统，通过微调BERT实现零样本对话状态追踪，采用四个模块分别进行意图预测、槽位填充、槽位迁移和用户状态摘要。该系统在DSTC8-Track 4基准测试中，联合目标准确率排名第三，请求槽F1分数排名第一，展现出对未见API的强大泛化能力。

ABSTRACT

We present our work on Track 4 in the Dialogue System Technology Challenges 8 (DSTC8). The DSTC8-Track 4 aims to perform dialogue state tracking (DST) under the zero-shot settings, in which the model needs to generalize on unseen service APIs given a schema definition of these target APIs. Serving as the core for many virtual assistants such as Siri, Alexa, and Google Assistant, the DST keeps track of the user's goal and what happened in the dialogue history, mainly including intent prediction, slot filling, and user state tracking, which tests models' ability of natural language understanding. Recently, the pretrained language models have achieved state-of-the-art results and shown impressive generalization ability on various NLP tasks, which provide a promising way to perform zero-shot learning for language understanding. Based on this, we propose a schema-guided paradigm for zero-shot dialogue state tracking (SGP-DST) by fine-tuning BERT, one of the most popular pretrained language models. The SGP-DST system contains four modules for intent prediction, slot prediction, slot transfer prediction, and user state summarizing respectively. According to the official evaluation results, our SGP-DST (team12) ranked 3rd on the joint goal accuracy (primary evaluation metric for ranking submissions) and 1st on the requsted slots F1 among 25 participant teams.

研究动机与目标

• 为解决任务导向对话中零样本对话状态追踪（DST）的挑战，即模型必须泛化到未见过的服务API。
• 通过利用模式定义中的自然语言描述，在低资源或未见领域场景中提升泛化能力。
• 利用BERT微调与模式引导监督，开发一个稳健的端到端对话状态追踪系统。
• 评估槽位迁移预测和少样本微调在提升零样本性能方面的有效性。

提出的方法

• 在对话数据上微调BERT，使用模式定义的意图和槽位描述，以实现零样本泛化。
• 设计四模块流水线：(1) 意图预测，(2) 槽位值与请求槽预测，(3) 域内与跨域槽位迁移预测，(4) 用户状态摘要。
• 在微调过程中，将模式定义中槽位和意图的自然语言描述作为上下文信号。
• 将开发集中的少量标注样本纳入训练，以模拟少样本学习并提升零样本泛化能力。
• 在完整训练集上训练模型，并在未见API上进行评估，以衡量零样本泛化能力。
• 应用早停和模型平均策略以提升鲁棒性，避免微调过程中的过拟合。

实验结果

研究问题

• RQ1 通过模式描述微调的BERT能否在零样本对话状态追踪中有效泛化到未见的服务API？
• RQ2 槽位迁移预测的引入在未见领域上的性能提升程度如何？
• RQ3 使用开发集样本进行少样本微调，在未见API上的零样本泛化能力提升程度如何？
• RQ4 在槽位值预测与意图及请求槽预测之间，未见API泛化能力的相对性能差距有多大？

主要发现

• SGP-DST系统在DSTC8-Track 4测试集上，联合目标准确率排名第三，请求槽F1分数排名第一，共25支队伍参与。
• 系统在意图和请求槽预测上表现出色，未见API与已见API之间的性能下降极小。
• 在未见API子集上，槽位值预测性能出现显著下降，表明这是零样本泛化中的关键挑战。
• 槽位迁移预测模块，尤其是域内迁移，显著提升了整体性能，凸显其在状态追踪中的重要性。
• 使用开发集90%的样本进行少样本微调，提升了未见API上的联合目标准确率；但使用100%开发集微调导致过拟合，测试集性能下降。
• 当使用90%开发样本进行训练时，系统在测试集上达到0.9260的联合目标准确率和0.9199的平均目标准确率，分别在所有参赛队伍中排名第三和第五。