[论文解读] A Novel Bi-directional Interrelated Model for Joint Intent Detection and Slot Filling

E Haihong, Peiqing Niu+2 more|arXiv (Cornell University)|Jun 30, 2019

Topic Modeling参考文献 14被引用 95

一句话总结

介绍了 SF-ID 网络，它双向地将槽填充与意图检测相关联，并具有迭代机制以增强互相强化，在 ATIS 和 Snips 数据集上取得改进。

ABSTRACT

A spoken language understanding (SLU) system includes two main tasks, slot filling (SF) and intent detection (ID). The joint model for the two tasks is becoming a tendency in SLU. But the bi-directional interrelated connections between the intent and slots are not established in the existing joint models. In this paper, we propose a novel bi-directional interrelated model for joint intent detection and slot filling. We introduce an SF-ID network to establish direct connections for the two tasks to help them promote each other mutually. Besides, we design an entirely new iteration mechanism inside the SF-ID network to enhance the bi-directional interrelated connections. The experimental results show that the relative improvement in the sentence-level semantic frame accuracy of our model is 3.79% and 5.42% on ATIS and Snips datasets, respectively, compared to the state-of-the-art model.

研究动机与目标

• 通过利用任务之间的双向连接来推动槽填充与意图检测的联合 SLU。
• 提出一个 SF-ID 网络以直接连接槽填充和意图检测。
• 引入迭代机制以强化任务之间的交互。
• 在 ATIS 和 Snips 上进行评估，展示在槽填充、意图检测和句级准确性方面的提升。

提出的方法

• SF-ID 网络具有两个子网：一个槽填充（SF）子网和一个意图检测（ID）子网。
• 基于注意力的上下文整合，用于槽和意图以形成 c_slot 和 c_inte 向量。
• 槽强化向量 r_slot 由将 c_slot 和 c_inte 联系起来的相关因子 f 导出。
• 意图强化向量 r_inte 通过通过 ID 子网从槽信息生成。
• 一个迭代机制，通过重复的 SF 和 ID 子网交互来细化 r_inte 和 r_slot。
• 支持以 SF-First 或 ID-First 模式运行，并在 SF 输出上可选 CRF 层。

实验结果

研究问题

• RQ1 槽填充与意图检测之间的双向相关机制能否提升 SLU 性能？
• RQ2 具备迭代交互的显式 SF-ID 网络是否在标准 SLU 基准测试上优于先前的联合模型？
• RQ3 SF-First 与 ID-First 的排序以及 CRF 层对整体性能的影响是什么？

主要发现

• 与现有最先进模型相比，SF-ID 网络在 ATIS 上句子级语义框准确率提升 3.79%，在 Snips 上提升 5.42%。
• SF 和 ID 子网均对性能有贡献；子网之间的互动比单独或非交互配置得到更好的结果。
• ID-First 模式提升槽填充性能，而 SF-First 模式提升意图检测性能。
• 三轮迭代机制在 SF-First 模式下在 ATIS 和 Snips 上均达到句子级准确性的峰值。
• CRF 层通常有帮助，特别是对槽填充，通过实现更好的序列解码。