[论文解读] Multi-lingual Intent Detection and Slot Filling in a Joint BERT-based Model

Giuseppe Castellucci, Valentina Bellomaria+2 more|arXiv (Cornell University)|Jul 5, 2019

Topic Modeling参考文献 28被引用 55

一句话总结

本文提出 Bert-Joint，一种基于 BERT 的多语言联合模型，用于同时进行意图检测和槽位填充，在 ATIS 和 SNIPS 上达到最先进的结果，并通过一个新的 SLU 数据集扩展到意大利语。

ABSTRACT

Intent Detection and Slot Filling are two pillar tasks in Spoken Natural Language Understanding. Common approaches adopt joint Deep Learning architectures in attention-based recurrent frameworks. In this work, we aim at exploiting the success of "recurrence-less" models for these tasks. We introduce Bert-Joint, i.e., a multi-lingual joint text classification and sequence labeling framework. The experimental evaluation over two well-known English benchmarks demonstrates the strong performances that can be obtained with this model, even when few annotated data is available. Moreover, we annotated a new dataset for the Italian language, and we observed similar performances without the need for changing the model.

研究动机与目标

• 动机化联合语言理解任务：在语音理解（SLU）中提高意图检测和槽位填充的效率与准确性。
• 提出一种无递归、基于 BERT 的联合框架，用以建模句子级意图和词元级槽位。
• 证明在数据有限且跨语言场景下，通过联合训练和组合损失可以提升性能。

提出的方法

• 在共享表示之上，扩展 BERT，添加句子级意图分类器和词元级槽位标注器。
• 使用 [CLS] 的最终隐藏状态表示意图，使用每个令牌的最终隐藏状态表示槽位预测。
• 以联合损失 L = alpha * L_c + beta * L_o 进行联合训练，更新所有 BERT 参数以及分类器参数。
• 通过 dropout、Adam 优化器以及 5–50 轮的小学习率调度进行微调，使用标准 SLU 数据集进行评估。

实验结果

研究问题

• RQ1 是否能用单一的基于 BERT 的模型，通过统一的损失函数同时优化意图检测与槽位填充？
• RQ2 在标准英语 SLU 基准上，联合建模是否优于仅 INTENT 或仅 SLOT 的 BERT 基线？
• RQ3 在低数据情形和多语言数据（包括意大利语）中，联合方法是否有效？
• RQ4 多语言训练设置如何影响英语和意大利语 SLU 数据集的性能？

主要发现

• Bert-Joint 在 ATIS 和 SNIPS 上在句子准确率和槽位 F1 指标达到最新状态，超过分离的 Bert-Intent 和 Bert-Slot 基线。
• 联合训练在 ID 和 SF 两方面都提供显著提升，尤其在句子级准确性（意图+槽位）方面有明显改进。
• 在低数据情形下，Bert-Joint 相对于非联合基线显示出更大的相对增益，特别是在意图检测方面。
• 一个意大利 SLU 数据集（SLU-IT）显示 Bert-Joint 保持较强性能，在意大利语方面优于非联合基线。
• 多语言训练（EN+IT）在不显著降低英语性能的情况下提升了意大利语性能，并提高了句子级准确性。