[论文解读] Towards Joint Intent Detection and Slot Filling via Higher-order Attention

Dongsheng Chen, Zhiqi Huang+3 more|arXiv (Cornell University)|Sep 18, 2021

Multimodal Machine Learning Applications被引用 6

一句话总结

该论文提出了一种高阶注意力网络，用于联合意图检测与槽位填充，通过引入双线性注意力模块，利用双线性池化捕捉二阶特征交互，堆叠带有ELU激活的模块，并采用动态特征融合层以增强跨任务特征整合。实验表明，该方法在基准SLU数据集上达到了最先进性能。

ABSTRACT

Intent detection (ID) and Slot filling (SF) are two major tasks in spoken language understanding (SLU). Recently, attention mechanism has been shown to be effective in jointly optimizing these two tasks in an interactive manner. However, latest attention-based works concentrated only on the first-order attention design, while ignoring the exploration of higher-order attention mechanisms. In this paper, we propose a BiLinear attention block, which leverages bilinear pooling to simultaneously exploit both the contextual and channel-wise bilinear attention distributions to capture the second-order interactions between the input intent or slot features. Higher and even infinity order interactions are built by stacking numerous blocks and assigning Exponential Linear Unit (ELU) to blocks. Before the decoding stage, we introduce the Dynamic Feature Fusion Layer to implicitly fuse intent and slot information in a more effective way. Technically, instead of simply concatenating intent and slot features, we first compute two correlation matrices to weight on two features. Furthermore, we present Higher-order Attention Network for the SLU tasks. Experiments on two benchmark datasets show that our approach yields improvements compared with the state-of-the-art approach. We also provide discussion to demonstrate the effectiveness of the proposed approach.

研究动机与目标

• 为解决现有方法仅关注一阶注意力在联合意图检测与槽位填充中的局限性。
• 探索意图与槽位特征之间的高阶交互，以改善表征学习。
• 设计一种更有效的特征融合机制，以隐式整合意图与槽位信息，超越简单的拼接操作。
• 通过新颖的注意力架构，在端到端方式下实现联合意图检测与槽位填充的最先进性能。

提出的方法

• 提出双线性注意力模块，计算上下文与通道级双线性注意力分布，以建模二阶特征交互。
• 堆叠多个双线性模块，并应用指数线性单元（ELU）激活，以实现更高阶甚至无限阶的交互。
• 引入动态特征融合层，在解码前通过计算两个相关性矩阵来加权意图与槽位特征，替代简单的拼接操作。
• 使用双线性池化以参数高效的方式捕捉输入特征之间的跨模态依赖关系。
• 设计网络以端到端方式联合优化意图检测与槽位填充任务。
• 采用注意力机制，动态关注两个任务中的相关特征，从而增强表征学习。

实验结果

研究问题

• RQ1 高阶注意力机制是否能在一阶注意力之外进一步提升联合意图检测与槽位填充性能？
• RQ2 建模二阶特征交互如何增强SLU任务中的表征学习？
• RQ3 动态特征融合是否优于仅使用简单拼接的方式以整合意图与槽位特征？
• RQ4 通过ELU激活堆叠双线性模块是否能有效建模SLU表征中的深层交互？
• RQ5 所提方法在标准SLU基准上的表现与最先进方法相比如何？

主要发现

• 所提出的高阶注意力网络在两个基准SLU数据集上达到了最先进性能。
• 双线性注意力模块通过捕捉意图与槽位特征之间的二阶交互，显著提升了特征表征能力。
• 动态特征融合层通过学习自适应的相关性加权方式，提升了模型性能。
• 堆叠多个双线性模块并结合ELU激活，能够更好地建模复杂的高阶依赖关系。
• 该方法优于仅依赖一阶注意力机制的现有注意力方法。
• 实证结果表明，双线性池化与动态融合在提升联合意图检测与槽位填充准确率方面具有显著有效性。