[论文解读] BERT-DST: Scalable End-to-End Dialogue State Tracking with Bidirectional Encoder Representations from Transformer

Guan-Lin Chao, Ian Lane|arXiv (Cornell University)|Jul 5, 2019

Topic Modeling参考文献 22被引用 11

一句话总结

BERT-DST 提出了一种端到端对话状态追踪方法，直接利用 BERT 的上下文表示从对话上下文中预测槽值，无需生成候选列表。通过在所有槽位之间共享编码器参数并应用槽值 dropout，其在 Sim-M 上达到 80.1% 的联合目标准确率，在 Sim-R 上达到 89.6%，展现出对未知知识图谱和未见槽值的强大可扩展性。

ABSTRACT

An important yet rarely tackled problem in dialogue state tracking (DST) is scalability for dynamic ontology (e.g., movie, restaurant) and unseen slot values. We focus on a specific condition, where the ontology is unknown to the state tracker, but the target slot value (except for none and dontcare), possibly unseen during training, can be found as word segment in the dialogue context. Prior approaches often rely on candidate generation from n-gram enumeration or slot tagger outputs, which can be inefficient or suffer from error propagation. We propose BERT-DST, an end-to-end dialogue state tracker which directly extracts slot values from the dialogue context. We use BERT as dialogue context encoder whose contextualized language representations are suitable for scalable DST to identify slot values from their semantic context. Furthermore, we employ encoder parameter sharing across all slots with two advantages: (1) Number of parameters does not grow linearly with the ontology. (2) Language representation knowledge can be transferred among slots. Empirical evaluation shows BERT-DST with cross-slot parameter sharing outperforms prior work on the benchmark scalable DST datasets Sim-M and Sim-R, and achieves competitive performance on the standard DSTC2 and WOZ 2.0 datasets.

研究动机与目标

• 解决在动态或未知知识图谱中对话状态追踪的挑战，其中槽值在训练期间可能未见。
• 消除对候选生成模块（如 n-gram 或独立槽标签器）的依赖，这些模块效率低下或易导致误差传播。
• 实现端到端学习，直接从对话上下文中提取槽值，利用上下文表示。
• 通过参数共享和槽值 dropout 提升对未见槽值的泛化能力。
• 在基准数据集上实现优异性能，同时保持对真实世界开放域任务导向对话的可扩展性。

提出的方法

• 使用 BERT 作为对话上下文编码器，从多轮对话中生成上下文化的词和句子表示。
• 在所有槽位之间共享 BERT 编码器，减少模型参数量，并促进槽位之间的知识迁移。
• 为每个槽位使用分类头，预测槽值为 'none'、'dontcare' 或对话上下文中的一个词段。
• 使用词段预测头识别槽值在对话上下文中的起始和结束位置。
• 在训练过程中应用槽值 dropout，通过迫使模型依赖上下文模式来提升对未见槽值的泛化能力。
• 对基于 BERT 的模型进行端到端微调，联合优化分类头和词段预测头。

实验结果

研究问题

• RQ1 基于 BERT 的端到端对话状态追踪器是否能在不依赖预生成候选列表的情况下有效提取槽值？
• RQ2 在存在未知或未见槽值的情况下，槽位之间的参数共享如何影响模型性能和可扩展性？
• RQ3 槽值 dropout 在零样本或少样本设置下，对开放词汇表（OOV）槽值的泛化能力提升程度如何？
• RQ4 BERT-DST 在可扩展 DST 基准（Sim-M/Sim-R）和标准基准（DSTC2/WOZ 2.0）上与先前最先进模型相比表现如何？
• RQ5 即使槽值不在训练词汇表中，BERT 的上下文表示是否仍能有效捕捉槽值提取的语义模式？

主要发现

• 采用参数共享的 BERT-DST（BERT-DST_SS）在 Sim-M 和 Sim-R 数据集上均优于使用 LU 生成候选的基线模型。
• 采用槽值 dropout 的 BERT-DST（BERT-DST_PS）在 Sim-M 和 Sim-R 上均显著优于 BERT-DST_SS，p < 0.01。
• 在 Sim-M 数据集上，联合目标准确率达到 80.1%；在 Sim-R 上达到 89.6%，在可扩展 DST 基准上确立了最先进性能。
• 性能提升在 OOV 率较高的槽位上最为显著，如 Sim-M 中的 'movie' 和 Sim-R 中的 'restaurant_name'，证实了槽值 dropout 对 OOV 泛化的有效性。
• 在标准基准上，BERT-DST_PS 取得了具有竞争力的结果——DSTC2 上为 69.3%，WOZ 2.0 上为 87.7%，表明其在未针对这些数据集优化的情况下仍具备强大泛化能力。
• 消融研究证实，槽值 dropout 在 Sim-M 上尤为有效，因其 'movie' 槽位的 OOV 率高达 100%，更高的 dropout 率可带来更好的性能。