[论文解读] Leveraging Sentence-level Information with Encoder LSTM for Semantic Slot Filling

Gakuto Kurata, Bing Xiang+2 more|arXiv (Cornell University)|Jan 7, 2016

Topic Modeling参考文献 30被引用 21

一句话总结

本文提出了一种编码器-标注器LSTM用于语义槽填充，通过使用编码器LSTM将整个输入句子编码为固定长度的向量，从而增强序列标注任务，该向量随后用于初始化标注器LSTM，实现更优的上下文感知预测。该方法在ATIS基准测试中取得了95.66%的SOTA F₁分数，证明了在槽填充任务中引入全局句子级信息的有效性。

ABSTRACT

Recurrent Neural Network (RNN) and one of its specific architectures, Long Short-Term Memory (LSTM), have been widely used for sequence labeling. In this paper, we first enhance LSTM-based sequence labeling to explicitly model label dependencies. Then we propose another enhancement to incorporate the global information spanning over the whole input sequence. The latter proposed method, encoder-labeler LSTM, first encodes the whole input sequence into a fixed length vector with the encoder LSTM, and then uses this encoded vector as the initial state of another LSTM for sequence labeling. Combining these methods, we can predict the label sequence with considering label dependencies and information of whole input sequence. In the experiments of a slot filling task, which is an essential component of natural language understanding, with using the standard ATIS corpus, we achieved the state-of-the-art F1-score of 95.66%.

研究动机与目标

• 通过引入超越局部词序列的全局句子级上下文信息，提升语义槽填充性能。
• 解决标准RNN/LSTM模型未能显式建模整个输入句子长距离依赖关系的局限性。
• 探究将整个句子编码为固定长度向量是否能提升序列标注任务中的标签预测准确率。
• 在标准及大规模、多领域自然语言理解数据集上评估所提方法的有效性。

提出的方法

• 编码器-标注器LSTM使用独立的编码器LSTM对整个输入句子进行反向处理，通过其最终隐藏状态生成固定长度的上下文向量。
• 该编码向量用于初始化标注器LSTM的隐藏状态，后者随后为序列中的每个词预测槽标签。
• 标注器LSTM通过时间反向传播（BPTT）进行端到端训练，使梯度能够反向传播至编码器LSTM。
• 通过将前一时间步的标签输入当前隐藏状态，该方法扩展为显式建模标签依赖关系，形成编码器-标注器LSTM(W+L)变体。
• 通过在词嵌入维度、隐藏层大小、上下文窗口大小和初始学习率上进行随机搜索完成超参数调优。
• 该模型在标准ATIS语料库及一个整合了ATIS、MIT Restaurant和MIT Movie语料库的大规模数据集上进行评估。

实验结果

研究问题

• RQ1 与标准RNN/LSTM模型相比，将整个输入句子编码为固定长度向量是否能提升槽填充性能？
• RQ2 通过编码器LSTM引入句子级上下文是否能提升在跨领域或多领域NLU任务中的泛化能力？
• RQ3 在槽填充任务中，当结合句子级编码时，显式建模标签依赖关系是否具有优势？
• RQ4 所提出的编码器-标注器LSTM在ATIS基准测试中与先前SOTA方法相比表现如何？

主要发现

• 所提出的编码器-标注器LSTM(W)在标准ATIS语料库上取得了95.66%的SOTA F₁分数，优于先前发表的结果。
• 通过超参数优化，编码器-标注器深度LSTM(W)变体进一步提升了性能，验证了该方法的鲁棒性。
• 在整合了ATIS、MIT Restaurant和MIT Movie语料库的大规模多领域数据集上，编码器-标注器LSTM(W)将F₁分数从基线的72.80%提升至74.41%。
• 在本研究中，显式建模标签依赖关系（通过编码器-标注器LSTM(W+L)实现）未带来性能提升，表明在当前设置下其收益有限。
• 该方法在标准设置和真实场景下的多领域设置中均表现出一致的性能提升，验证了其在捕捉全局句子上下文方面的有效性。