[论文解读] AGIF: An Adaptive Graph-Interactive Framework for Joint Multiple Intent Detection and Slot Filling

Libo Qin, Xu Xiao+2 more|arXiv (Cornell University)|Apr 21, 2020

Topic Modeling参考文献 31被引用 11

一句话总结

本文提出 AGIF，一种用于联合多意图检测与槽填充的自适应图交互框架，通过动态图注意力机制建模标记与多个意图之间的细粒度交互。通过在标记级别自适应地整合相关意图信息，AGIF 在三个多意图数据集上取得最先进性能，并在两个单意图基准上也优于最先进方法，展现出更强的泛化能力。

ABSTRACT

In real-world scenarios, users usually have multiple intents in the same utterance. Unfortunately, most spoken language understanding (SLU) models either mainly focused on the single intent scenario, or simply incorporated an overall intent context vector for all tokens, ignoring the fine-grained multiple intents information integration for token-level slot prediction. In this paper, we propose an Adaptive Graph-Interactive Framework (AGIF) for joint multiple intent detection and slot filling, where we introduce an intent-slot graph interaction layer to model the strong correlation between the slot and intents. Such an interaction layer is applied to each token adaptively, which has the advantage to automatically extract the relevant intents information, making a fine-grained intent information integration for the token-level slot prediction. Experimental results on three multi-intent datasets show that our framework obtains substantial improvement and achieves the state-of-the-art performance. In addition, our framework achieves new state-of-the-art performance on two single-intent datasets.

研究动机与目标

• 解决在语音理解中有效整合多意图信息以实现标记级别槽填充预测的挑战。
• 克服先前模型将所有标记统一处理为单一静态意图上下文向量的局限性。
• 通过建模每个标记与相关意图之间的动态相关性，实现细粒度的自适应意图信息迁移。
• 通过在多意图与单意图 SLU 基准上均取得最先进性能，提升模型泛化能力。
• 通过发布两个大规模多意图数据集和代码，为未来研究提供支持。

提出的方法

• 提出一种自适应意图-槽图交互层，构建每个标记隐藏状态与预测意图嵌入之间的动态图。
• 使用图注意力网络（GAT）计算自适应注意力权重，使每个标记能够选择性地关注相关意图。
• 将过滤后的意图信息整合到槽填充解码器中，生成上下文感知的标记表示。
• 采用共享的自注意力编码器，为意图检测与槽填充任务共同提取话语表示。
• 为意图检测与槽填充任务分别使用两个独立解码器，并通过图模块实现跨任务交互。
• 采用端到端联合损失优化策略，同时训练意图检测与槽填充任务。

实验结果

研究问题

• RQ1 如何在标记级别有效且精细地整合多意图信息以用于槽填充？
• RQ2 基于动态自适应图的机制是否能在多意图 SLU 中优于静态全局意图上下文整合方法？
• RQ3 所提出的框架是否能在保持最先进性能的同时泛化到单意图 SLU 基准？
• RQ4 模型是否能够基于语义相关性，学会为每个标记关注正确的意图？
• RQ5 所提出的框架在真实世界多意图 SLU 任务中的性能提升程度如何？

主要发现

• AGIF 在三个多意图 SLU 数据集（包括 DSTC4、MixATIS 和 MixSNIPS）上均达到最先进性能。
• 在 DSTC4 基准上，AGIF 在意图检测与槽填充指标上均显著优于先前最先进方法。
• 该模型在两个公开的单意图基准（ATIS 与 SNIPS）上也取得了新的最先进结果，展现出强大的泛化能力。
• 注意力可视化结果表明，模型能正确地为每个标记分配更高的注意力权重给相关意图。
• 消融实验表明，若移除自适应图交互层，性能会显著下降，验证了其关键作用。
• 发布两个大规模多意图数据集（MixATIS 与 MixSNIPS）有望加速多意图 SLU 领域的研究。