[论文解读] A Co-Interactive Transformer for Joint Slot Filling and Intent Detection

Libo Qin, Tailu Liu+4 more|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 29被引用 11

一句话总结

本文提出了一种协同交互Transformer模型，通过协同交互注意力机制显式建模意图识别与槽位填充之间的双向、相互影响，利用跨任务注意力优于先前方法。该模型在SNIPS和ATIS基准上达到最先进性能，结合BERT后进一步提升性能。

ABSTRACT

Intent detection and slot filling are two main tasks for building a spoken language understanding (SLU) system. The two tasks are closely related and the information of one task can be utilized in the other task. Previous studies either model the two tasks separately or only consider the single information flow from intent to slot. None of the prior approaches model the bidirectional connection between the two tasks simultaneously. In this paper, we propose a Co-Interactive Transformer to consider the cross-impact between the two tasks. Instead of adopting the self-attention mechanism in vanilla Transformer, we propose a co-interactive module to consider the cross-impact by building a bidirectional connection between the two related tasks. In addition, the proposed co-interactive module can be stacked to incrementally enhance each other with mutual features. The experimental results on two public datasets (SNIPS and ATIS) show that our model achieves the state-of-the-art performance with considerable improvements (+3.4% and +0.9% on overall acc). Extensive experiments empirically verify that our model successfully captures the mutual interaction knowledge.

研究动机与目标

• 为解决先前联合模型的局限性，即参数隐式共享或仅建模从意图到槽位的单向信息流。
• 在统一框架中显式建模意图识别与槽位填充之间的双向交叉影响。
• 通过使槽位和意图表征能够相互关注对方的语义信息，提升性能。
• 通过消融实验和对比研究，证明显式相互作用的有效性。

提出的方法

• 该框架使用共享的BiLSTM编码器，为输入序列生成上下文感知的隐藏状态。
• 应用标签注意力层，通过每个标签类别的学习嵌入矩阵，获得显式的意图和槽位表征。
• 核心协同交互模块将自注意力替换为双注意力机制：意图表征查询槽位表征，反之亦然，实现双向交互。
• 协同交互注意力层使每个任务能够关注来自另一任务的相关信息，显式建模交叉影响。
• 在协同交互层之后应用前馈网络，进一步隐式融合信息。
• 通过将BERT作为共享编码器集成，进一步提升模型性能，显著改善两个基准上的表现。

实验结果

研究问题

• RQ1 与单向或隐式方法相比，意图识别与槽位填充之间的显式双向交互是否能提升联合性能？
• RQ2 显式意图和槽位表征的引入对模型性能有何影响？
• RQ3 将自注意力替换为协同交互注意力机制是否能带来优于标准注意力或共享参数模型的结果？
• RQ4 所提出的框架与现有最先进模型在联合意图与槽位检测任务中的表现相比如何？

主要发现

• Co-Interactive Transformer在SNIPS和ATIS数据集上均达到最先进性能，优于所有先前基线模型。
• 集成BERT的模型取得新的最先进结果，甚至超越Stack-Propagation + BERT。
• 消融实验表明，移除意图或槽位注意力层会导致性能下降，证实显式表征的重要性。
• 将协同交互层替换为自注意力（隐式建模交互）会导致性能降低，证明显式双向注意力的优势。
• 双向连接优于仅意图到槽位或仅槽位到意图的单向设置，证明相互增强优于单向影响。