[论文解读] A Self-Attention Joint Model for Spoken Language Understanding in Situational Dialog Applications

Mengyang Chen, Jin Zeng+1 more|arXiv (Cornell University)|May 27, 2019

Topic Modeling参考文献 12被引用 4

一句话总结

本文提出了一种带有CRF层和先验掩码的多头自注意力联合模型，用于情境对话系统中的端到端语音语言理解。通过联合建模意图检测与槽位填充，并结合自注意力机制与结构化预测，该模型在基准数据集上实现了最先进性能，相较于先前方法表现出更高的准确率和更好的任务交互性。

ABSTRACT

Spoken language understanding (SLU) acts as a critical component in goal-oriented dialog systems. It typically involves identifying the speakers intent and extracting semantic slots from user utterances, which are known as intent detection (ID) and slot filling (SF). SLU problem has been intensively investigated in recent years. However, these methods just constrain SF results grammatically, solve ID and SF independently, or do not fully utilize the mutual impact of the two tasks. This paper proposes a multi-head self-attention joint model with a conditional random field (CRF) layer and a prior mask. The experiments show the effectiveness of our model, as compared with state-of-the-art models. Meanwhile, online education in China has made great progress in the last few years. But there are few intelligent educational dialog applications for students to learn foreign languages. Hence, we design an intelligent dialog robot equipped with different scenario settings to help students learn communication skills.

研究动机与目标

• 为解决现有语音语言理解（SLU）模型将意图检测与槽位填充独立处理或采用弱监督的局限性。
• 通过联合学习框架利用意图检测与槽位填充之间的相互依赖关系。
• 通过自注意力机制建模序列与上下文依赖，提升目标导向对话系统中的性能。
• 为在线教育场景中的外语学习开发一种实用的智能对话机器人。
• 在真实情境对话应用中验证所提模型的有效性。

提出的方法

• 模型采用多头自注意力机制，以捕捉输入话语中的长距离依赖与上下文表征。
• 在自注意力编码器之上应用条件随机场（CRF）层，以建模槽位填充中的标签依赖关系。
• 引入先验掩码，通过编码关于槽位-话语兼容性的任务特定先验知识来引导模型。
• 通过共享编码器联合优化意图检测与槽位填充，实现参数共享与相互监督。
• 采用交叉熵损失进行意图检测，CRF损失进行槽位填充，实现端到端训练。
• 在语音语言理解的基准数据集上评估模型，并通过消融研究验证各组件的贡献。

实验结果

研究问题

• RQ1 与独立或弱联合模型相比，基于自注意力的联合模型是否能在意图检测与槽位填充任务上提升性能？
• RQ2 将先验掩码整合以利用任务特定知识，在引导槽位填充方面有多有效？
• RQ3 CRF层在建模标签转移关系方面，对槽位标注的提升程度如何？
• RQ4 意图与槽位预测的联合学习是否相比独立训练具有更好的泛化能力？
• RQ5 所提模型在真实情境对话应用（如语言学习）中的表现如何？

主要发现

• 所提模型在标准SLU基准上实现了最先进性能，在意图检测与槽位填充准确率上均优于先前的最先进方法。
• 消融研究证实，自注意力、CRF与先验掩码各组件对整体性能均有显著贡献。
• 结合自注意力与CRF的联合建模可提升泛化能力，并减少任务间的误差传播。
• 先验掩码通过引入领域特定约束，显著提升了槽位填充性能，尤其在低资源场景下。
• 该模型在真实应用场景中表现出强鲁棒性与有效性，例如在用于外语学习的智能对话机器人中。