[论文解读] Encoder-decoder with Focus-mechanism for Sequence Labelling Based Spoken Language Understanding

Su Zhu, Kai Yu|arXiv (Cornell University)|Aug 6, 2016

Natural Language Processing Techniques参考文献 13被引用 7

一句话总结

本文提出了一种带有新颖聚焦机制的BLSTM-LSTM编码器-解码器模型，用于语音理解中的序列标注，特别是槽位填充任务。通过强调编码器中对齐的隐藏状态，该聚焦机制提高了对齐精度，并增强了对ASR错误的鲁棒性，在ATIS数据集上实现了95.79%的新SOTA F1分数，优于标准BLSTM和基于注意力的模型。

ABSTRACT

This paper investigates the framework of encoder-decoder with attention for sequence labelling based spoken language understanding. We introduce Bidirectional Long Short Term Memory - Long Short Term Memory networks (BLSTM-LSTM) as the encoder-decoder model to fully utilize the power of deep learning. In the sequence labelling task, the input and output sequences are aligned word by word, while the attention mechanism cannot provide the exact alignment. To address this limitation, we propose a novel focus mechanism for encoder-decoder framework. Experiments on the standard ATIS dataset showed that BLSTM-LSTM with focus mechanism defined the new state-of-the-art by outperforming standard BLSTM and attention based encoder-decoder. Further experiments also show that the proposed model is more robust to speech recognition errors.

研究动机与目标

• 为解决注意力机制在序列标注任务中的局限性，即输入输出对齐为词对词，但注意力分数作用于整个序列。
• 在低资源和噪声ASR条件下，提升序列标注模型在语音理解任务中的性能与鲁棒性。
• 提出一种聚焦机制，显式建模序列标注中输入与输出标记之间的对齐关系，增强标签依赖性与模型准确性。
• 在ATIS等标准基准数据集以及包含ASR错误的自定义中文导航数据集上评估模型性能。
• 证明聚焦机制在干净和噪声转录设置下均优于标准注意力机制和BLSTM基线模型。

提出的方法

• 使用双向LSTM（BLSTM）作为编码器，以捕获每个输入词的前后文信息。
• 采用单向LSTM作为解码器，逐步生成槽位标签，其隐藏状态由编码器的反向传递结果初始化。
• 引入一种聚焦机制，仅强调与当前解码器输出对齐的最相关编码器隐藏状态，而非对所有编码器状态进行注意力计算。
• 该聚焦机制通过选择对齐分数最高的隐藏状态，计算聚焦上下文向量，从而提升对齐精度。
• 采用交叉熵损失进行端到端训练，并通过槽值替换进行数据增强，以提升训练数据的多样性。
• 在ATIS和中文导航数据集上评估模型性能，比较在干净转录和含错误的ASR假设下的表现。

实验结果

研究问题

• RQ1 与标准注意力机制相比，聚焦机制是否能提升序列标注任务中的对齐精度？
• RQ2 所提出的BLSTM-LSTM模型结合聚焦机制是否在ATIS数据集上优于现有SOTA模型？
• RQ3 聚焦机制在真实ASR输出中的语音识别错误下是否表现出更强的鲁棒性？
• RQ4 聚焦机制是否能增强标签依赖性，并在低资源或噪声环境下提升泛化能力？
• RQ5 当训练数据有限且对齐至关重要时，聚焦机制是否能超越基于注意力的模型？

主要发现

• 带有聚焦机制的BLSTM-LSTM模型在ATIS数据集上实现了95.79%的新SOTA F1分数，超越了此前最佳结果95.66%。
• 与BLSTM-LSTM结合注意力机制相比，聚焦机制使F1分数提升了0.36个百分点（从92.73%提升至95.79%），且在10%显著性水平下具有统计显著性。
• 在中文导航数据集中，聚焦机制在人工转录上达到96.60%的F1分数，在ASR假设上达到93.08%，显著优于BLSTM（ASR上为91.23%）和CRF（ASR上为91.51%）。
• 该模型在ASR错误下表现出更优的鲁棒性，ASR假设上的F1分数相比BLSTM-LSTM结合注意力机制提升了1.85%。
• 聚焦机制有效建模了标签依赖性，并减少了编码器到解码器的误差传播，尤其在长序列和噪声环境下表现更优。
• 通过槽值替换进行数据增强可提升泛化能力，但只有聚焦机制能持续从扩展的训练数据中受益。