[论文解读] GL-GIN: Fast and Accurate Non-Autoregressive Model for Joint Multiple Intent Detection and Slot Filling

Libo Qin, Fuxuan Wei+4 more|arXiv (Cornell University)|Jun 3, 2021

Topic Modeling参考文献 37被引用 8

一句话总结

本文提出 GL-GIN，一种用于联合多意图检测与槽位填充的非自回归模型，通过全局-局部图交互网络加速推理并提升准确率。通过局部图建模槽位依赖关系，通过全局图建模意图-槽位交互关系，GL-GIN 在两个公开数据集上实现了最先进性能，同时推理速度比自回归基线模型快 11.5 倍。

ABSTRACT

Multi-intent SLU can handle multiple intents in an utterance, which has attracted increasing attention. However, the state-of-the-art joint models heavily rely on autoregressive approaches, resulting in two issues: slow inference speed and information leakage. In this paper, we explore a non-autoregressive model for joint multiple intent detection and slot filling, achieving more fast and accurate. Specifically, we propose a Global-Locally Graph Interaction Network (GL-GIN) where a local slot-aware graph interaction layer is proposed to model slot dependency for alleviating uncoordinated slots problem while a global intent-slot graph interaction layer is introduced to model the interaction between multiple intents and all slots in the utterance. Experimental results on two public datasets show that our framework achieves state-of-the-art performance while being 11.5 times faster.

研究动机与目标

• 解决自回归模型在联合多意图检测与槽位填充任务中固有的推理速度慢和信息泄露问题。
• 通过显式建模槽位依赖关系，克服非自回归序列生成中的非协调槽位问题。
• 通过基于结构化图的交互机制，实现在保持高准确率的同时，对意图和槽位预测实现并行解码。
• 探索将预训练模型（如 RoBERTa）集成到非自回归框架中，以进一步提升性能。
• 通过结合高速推理与高准确率，建立联合多意图检测与槽位填充的新最先进水平。

提出的方法

• 提出全局-局部图交互网络（GL-GIN），将意图和槽位预测解耦为共享编码器与双流解码器。
• 引入局部槽位感知图交互层，使每个槽位表示与其他槽位连接，以建模序列依赖关系并减少非协调预测。
• 设计全局意图-槽位图交互层，在所有标记和多个意图之间构建图结构，以捕捉句子级交互关系。
• 使用共享的自注意力编码器结合 BiLSTM 和多头注意力机制，生成上下文感知的语句表示。
• 通过多任务学习目标联合优化意图检测与槽位填充，利用共享编码器特征。
• 将 RoBERTa 作为预训练编码器集成，以增强语义表示并提升下游性能。

实验结果

研究问题

• RQ1 非自回归架构是否能在实现并行解码的同时，于联合多意图检测与槽位填充任务中实现具有竞争力的性能？
• RQ2 局部槽位感知图层在缓解非自回归模型中常见的非协调槽位问题方面，效果如何？
• RQ3 与基于标记的交互相比，全局意图-槽位图交互层在建模跨意图与槽位依赖关系方面，提升程度如何？
• RQ4 将类似 RoBERTa 的预训练语言模型集成到非自回归框架中，是否能进一步提升模型性能？
• RQ5 所提出的 GL-GIN 模型是否能在公开基准测试中，同时超越现有自回归基线模型在准确率和推理速度两方面的表现？

主要发现

• GL-GIN 在 MixSNIPS 和 MixATIS 两个数据集上均达到最先进性能，优于先前的 SOTA 模型。
• 与先前的自回归模型 AGIF 相比，GL-GIN 的解码速度提升了 11.5 倍，通过并行生成实现了显著加速。
• 局部槽位感知图层有效减少了非协调槽位预测（如 B-singer 后接 I-song），提升了槽位标注的一致性。
• 全局意图-槽位图交互层增强了双向上下文建模能力，使模型能够正确识别模糊槽位，如将 '6' 识别为时间，将 'am' 识别为机场名称。
• 在微调时引入 RoBERTa 后，GL-GIN 达到新的最先进性能，证实了预训练表示在非自回归设置中的有效性。
• 消融实验表明，局部与全局图组件均对性能有显著贡献，其中全局图在捕捉长距离意图-槽位依赖关系方面尤为有效。