[论文解读] Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling

Bing Liu, Ian Lane|arXiv (Cornell University)|Sep 6, 2016

Topic Modeling参考文献 16被引用 68

一句话总结

本文提出了一种基于注意力机制的循环神经网络模型，用于在语音理解中联合进行意图检测与槽位填充。通过将显式的对齐信息整合到编码器-解码器架构中，并对双向RNN应用注意力机制，该模型实现了最先进性能，在ATIS基准测试中，意图检测错误率降低0.56%（相对降低23.8%），槽位填充F1值相比独立模型提升0.23%。

ABSTRACT

Attention-based encoder-decoder neural network models have recently shown promising results in machine translation and speech recognition. In this work, we propose an attention-based neural network model for joint intent detection and slot filling, both of which are critical steps for many speech understanding and dialog systems. Unlike in machine translation and speech recognition, alignment is explicit in slot filling. We explore different strategies in incorporating this alignment information to the encoder-decoder framework. Learning from the attention mechanism in encoder-decoder model, we further propose introducing attention to the alignment-based RNN models. Such attentions provide additional information to the intent classification and slot label prediction. Our independent task models achieve state-of-the-art intent detection error rate and slot filling F1 score on the benchmark ATIS task. Our joint training model further obtains 0.56% absolute (23.8% relative) error reduction on intent detection and 0.23% absolute gain on slot filling over the independent task models.

研究动机与目标

• 通过将注意力机制与对齐感知RNN结合，提升语音理解中联合意图检测与槽位填充的性能。
• 探究如何将槽位填充中的显式对齐信息有效整合到序列到序列的编码器-解码器模型中。
• 探索编码器-解码器模型中的注意力机制是否能增强基于对齐的RNN，以实现更优的槽位标注与意图分类。
• 评估联合训练在意图检测与槽位填充两方面相较于独立训练的性能增益。

提出的方法

• 使用双向RNN编码器处理输入序列，并为解码器生成上下文向量。
• 在解码器中引入注意力机制，动态关注编码器状态中与输出生成相关的部分，实现软对齐。
• 在编码器-解码器框架中引入对齐输入，即在训练过程中将每个输入词与其对应的槽位标签配对。
• 通过从隐藏状态计算上下文向量，将注意力机制应用于双向RNN，以改善标签预测。
• 训练共享意图检测与槽位填充之间参数的联合模型，实现端到端优化。
• 对意图与槽位预测均使用交叉熵损失函数，并在推理阶段采用束搜索进行序列生成。

实验结果

研究问题

• RQ1 如何有效将槽位填充中的显式对齐信息整合到基于注意力的编码器-解码器模型中？
• RQ2 编码器-解码器模型中的注意力机制是否能提升基于对齐的RNN在联合意图与槽位预测中的性能？
• RQ3 意图检测与槽位填充的联合训练是否优于独立训练？
• RQ4 注意力机制与双向编码在ATIS基准测试中对模型性能的相对贡献如何？

主要发现

• 使用基于注意力机制的双向RNN的联合训练模型，相比独立模型，意图检测错误率绝对降低0.56%（相对降低23.8%）。
• 同一联合模型在槽位填充F1值上相比独立训练提升了0.23%。
• 带有对齐输入的基于注意力机制的编码器-解码器模型实现了95.78%的槽位填充F1值，超越了先前的最先进结果。
• 基于注意力机制的双向RNN模型实现了2.35%的意图检测错误率，优于先前的最先进方法。
• 在额外的ATIS数据集（10折交叉验证）上，基于注意力机制的双向RNN联合模型实现了95.78%的F1值与5.60%的意图错误率，超越了先前的联合模型。
• 注意力机制展现出有意义的关注模式，例如在预测槽位标签时聚焦于相关词汇（如'noon'），表明上下文被有效利用。