[论文解读] A Dynamic Graph Interactive Framework with Label-Semantic Injection for Spoken Language Understanding

Zhihong Zhu, Weiyuan Xu+3 more|arXiv (Cornell University)|Nov 8, 2022

Topic Modeling被引用 6

一句话总结

本文提出DGIF，一种具有标签语义注入的动态图交互框架，用于联合多意图检测与槽位填充的口语理解。通过将意图和槽位标签的语义表征注入话语表征，并构建一个能够根据每个词元自适应过滤相关意图信息的多粒度交互图，DGIF在MixATIS数据集上相较之前最佳模型实现了13.7%的相对准确率提升。

ABSTRACT

Multi-intent detection and slot filling joint models are gaining increasing traction since they are closer to complicated real-world scenarios. However, existing approaches (1) focus on identifying implicit correlations between utterances and one-hot encoded labels in both tasks while ignoring explicit label characteristics; (2) directly incorporate multi-intent information for each token, which could lead to incorrect slot prediction due to the introduction of irrelevant intent. In this paper, we propose a framework termed DGIF, which first leverages the semantic information of labels to give the model additional signals and enriched priors. Then, a multi-grain interactive graph is constructed to model correlations between intents and slots. Specifically, we propose a novel approach to construct the interactive graph based on the injection of label semantics, which can automatically update the graph to better alleviate error propagation. Experimental results show that our framework significantly outperforms existing approaches, obtaining a relative improvement of 13.7% over the previous best model on the MixATIS dataset in overall accuracy.

研究动机与目标

• 解决现有模型依赖独热编码标签且忽略显式标签语义的局限性。
• 缓解在槽位填充过程中对所有词元无差别注入多意图信息所导致的误差传播。
• 通过利用话语词语与标签词语之间的语义相似性，提升多意图检测与槽位填充的联合性能。
• 开发一种动态自适应图机制，以捕捉高置信度、词元特定的意图-槽位关联。
• 通过标签感知正则化与语义注入，增强模型泛化能力以及意图与槽位预测之间的对齐。

提出的方法

• 使用两个独立的BERT编码器分别编码话语和标签表征，以保留句法差异。
• 通过希尔伯特空间中的最佳逼近，利用标签基向量的线性组合，将标签语义注入话语表征。
• 应用标签感知正则化，以建模意图与槽位空间内标签之间的语义依赖。
• 构建一个多粒度交互图，根据语义对齐动态选择每个词元相关的意图。
• 采用可学习的图交互层，基于注意力机制更新边权重，以每词元为单位过滤无关的意图信号。
• 采用多任务学习方案联合训练模型，以同时优化意图检测与槽位填充。

Fig. 1 : Utterance with multiple intents ( red ) and slots ( blue ).

实验结果

研究问题

• RQ1 将显式标签语义注入话语表征是否能提升联合多意图检测与槽位填充的性能？
• RQ2 与静态全局意图注入相比，动态词元特定意图注入在降低噪声与误差传播方面表现如何？
• RQ3 标签感知正则化在建模意图与槽位标签之间语义依赖方面的增强程度如何？
• RQ4 所提出的动态图交互机制是否能带来比静态注意力或固定图结构更准确、更鲁棒的意图-槽位对齐？
• RQ5 该框架是否能在MixATIS与MixSNIPS等公开多意图SLU基准上超越现有最先进模型？

主要发现

• DGIF在MixATIS数据集上相较之前最佳模型实现了13.7%的相对准确率提升，表明性能显著增强。
• 消融实验表明，移除标签语义注入会导致整体准确率下降3.4%，证实其在性能中的关键作用。
• 移除标签感知正则化会使意图准确率下降2.1%，槽位F1下降0.6%，表明其在建模标签空间语义方面的有效性。
• 将动态图交互层替换为普通注意力机制会导致整体准确率下降5.3%，凸显自适应、词元特定意图过滤的优势。
• 注意力权重可视化结果表明，DGIF能正确对齐相关意图（如'GetWeather'）与语义相关的槽位（如'forecast', 'cold'），而先前模型则无法实现。
• 尽管使用的是BERT-base而非RoBERTa-base，DGIF仍优于基于RoBERTa-base的基线模型，表明其架构能有效利用标签语义来补偿表征质量的不足。

Fig. 2 : The architecture of DGIF . Two BERT encoders will encode both the utterance ( § 2.1 ) and labels ( § 2.2 ). Sentence-level representation $r^{u}$ and token-level representation $h_{*}$ will be injected with label semantics in respective space ( § 2.3 ) and interact in § 2.4 . $\checkmark$ d