[论文解读] Co-guiding Net: Achieving Mutual Guidances between Multiple Intent Detection and Slot Filling via Heterogeneous Semantics-Label Graphs

Bowen Xing, Ivor W. Tsang|arXiv (Cornell University)|Oct 19, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出 Co-guiding Net，一种两阶段框架，通过异质语义-标签图与图注意力网络，实现多个意图识别与槽位填充之间的相互引导。通过建模双向依赖关系——既从意图到槽位，也从槽位到意图——使用两种不同的异质图，该模型在 MixATIS 数据集上相较先前最先进方法实现了 19.3% 的相对准确率提升。

ABSTRACT

Recent graph-based models for joint multiple intent detection and slot filling have obtained promising results through modeling the guidance from the prediction of intents to the decoding of slot filling. However, existing methods (1) only model the extit{unidirectional guidance} from intent to slot; (2) adopt extit{homogeneous graphs} to model the interactions between the slot semantics nodes and intent label nodes, which limit the performance. In this paper, we propose a novel model termed Co-guiding Net, which implements a two-stage framework achieving the extit{mutual guidances} between the two tasks. In the first stage, the initial estimated labels of both tasks are produced, and then they are leveraged in the second stage to model the mutual guidances. Specifically, we propose two extit{heterogeneous graph attention networks} working on the proposed two extit{heterogeneous semantics-label graphs}, which effectively represent the relations among the semantics nodes and label nodes. Experiment results show that our model outperforms existing models by a large margin, obtaining a relative improvement of 19.3\% over the previous best model on MixATIS dataset in overall accuracy.

研究动机与目标

• 为解决现有联合模型在多意图识别与槽位填充中仅单向引导（从意图识别到槽位填充）的局限性。
• 克服同质图中无法区分不同类型交互（例如，意图标签节点与槽位语义节点）所导致的歧义性。
• 通过利用第一阶段预测的标签作为先验信息，在第二阶段实现意图识别与槽位填充之间的双向、相互引导。
• 设计专门的异质语义-标签图（HSLG），以准确表示语义节点与标签节点之间的关系。
• 开发针对所提出 HSLG 的异质图注意力网络（HGAT），以建模特定任务的引导机制。

提出的方法

• 该模型采用两阶段框架：首先，使用共享的自注意力编码器对意图识别和槽位填充任务进行初始预测。
• 在第二阶段，利用第一阶段的预测标签作为先验信息，实现两个任务之间的相互引导。
• 构建两个异质语义-标签图（HSLG）：(1) 槽位到意图 HSLG（S2I-SLG），用于意图引导的槽位填充；(2) 意图到槽位 HSLG（I2S-SLG），用于槽位引导的意图识别。
• 应用两个异质图注意力网络（HGAT）：一个作用于 S2I-SLG，将槽位标签信息传播至意图语义节点；另一个作用于 I2S-SLG，将意图标签信息传播至槽位语义节点。
• HGAT 动态加权不同节点类型（例如，意图标签节点与其它槽位语义节点）的贡献，降低信息传递中的歧义性。
• 最终预测通过解码 HGAT 更新后的表示生成，模型联合优化两个任务。

实验结果

研究问题

• RQ1 与单向引导相比，意图识别与槽位填充之间的相互引导是否能提升联合性能？
• RQ2 异质语义-标签图如何有效建模语义节点与标签节点之间的不同交互？
• RQ3 与在同质图上使用的普通 GAT 相比，异质图注意力网络在信息传递方面有多大的增强作用？
• RQ4 采用第一阶段预测作为先验信息的两阶段框架，是否能带来更准确、更鲁棒的联合预测？
• RQ5 所提出的模型是否能在 MixATIS 和 MixSNIPS 等基准数据集上达到最先进性能？

主要发现

• Co-guiding Net 在 MixATIS 数据集上相较先前最佳模型实现了 19.3% 的相对准确率提升，显著提升了性能。
• 该模型在 MixATIS 和 MixSNIPS 两个基准测试中均优于现有最先进模型，证实了其良好的泛化能力。
• 消融实验表明，若移除相互引导机制或异质图设计，性能将显著下降，验证了二者必要性。
• 案例研究证实，模型能有效利用槽位信息纠正意图预测（例如，从 'city_name' 槽位推断出 'airport'），反之亦然（例如，利用 'aircraft' 意图信号纠正槽位预测）。
• 异质图注意力机制成功区分并优先处理相关消息流，例如在信息传递过程中更强调意图标签节点而非其它槽位语义节点。
• 两阶段框架实现了更优的特征精炼，第二阶段预测始终比第一阶段估计更准确，表明知识蒸馏效果显著。