[论文解读] Leveraging Sentence-level Information with Encoder LSTM for Natural Language Understanding.

Gakuto Kurata, Bing Xiang+2 more|arXiv (Cornell University)|Jan 7, 2016

Natural Language Processing Techniques参考文献 25被引用 11

一句话总结

该论文提出了一种新型架构——编码器-标注器LSTM，通过使用编码器LSTM对输入序列进行全局编码，并利用标注器LSTM建模标签依赖关系，从而提升序列标注性能。通过将编码后的序列表示作为初始隐藏状态，该模型同时捕捉了长距离上下文信息与标签转移关系，在ATIS槽位填充基准测试中实现了95.66%的SOTA F1分数。

ABSTRACT

Recurrent Neural Network (RNN) and one of its specific architectures, Long Short-Term Memory (LSTM), have been widely used for sequence labeling. In this paper, we first enhance LSTM-based sequence labeling to explicitly model label dependencies. Then we propose another enhancement to incorporate the global information spanning over the whole input sequence. The latter proposed method, encoder-labeler LSTM, first encodes the whole input sequence into a fixed length vector with the encoder LSTM, and then uses this encoded vector as the initial state of another LSTM for sequence labeling. Combining these methods, we can predict the label sequence with considering label dependencies and information of whole input sequence. In the experiments of a slot filling task, which is an essential component of natural language understanding, with using the standard ATIS corpus, we achieved the state-of-the-art F1-score of 95.66%.

研究动机与目标

• 通过显式建模标签依赖关系，提升自然语言理解任务中的序列标注性能。
• 将整个输入序列的全局上下文信息整合到标注过程中。
• 通过两阶段架构增强基于LSTM的模型在槽位填充任务中的表现。
• 在标准ATIS语料库上实现自然语言理解任务的SOTA性能。

提出的方法

• 编码器LSTM处理完整输入序列，并将其压缩为固定长度的上下文向量。
• 该编码向量被用作第二个LSTM——标注器LSTM的初始隐藏状态，后者执行序列标注。
• 标注器LSTM在训练过程中预测标签，同时利用局部词元特征与来自编码器的全局上下文信息。
• 标签依赖关系通过标注器LSTM的循环结构隐式建模。
• 通过将标注步骤基于编码输入进行条件化，该架构整合了局部与全局表示。
• 该方法在序列标注任务上端到端训练，使用标准交叉熵损失函数。

实验结果

研究问题

• RQ1 在自然语言理解任务中，建模标签依赖关系是否能提升序列标注性能？
• RQ2 将整个输入序列编码为固定长度向量是否能提升序列标注的准确性？
• RQ3 结合全局上下文与标签转移建模是否能提升槽位填充任务的性能？
• RQ4 该架构是否能在ATIS等标准基准测试中超越标准LSTM模型？

主要发现

• 所提出的编码器-标注器LSTM在ATIS槽位填充基准测试中实现了95.66%的SOTA F1分数。
• 全局上下文与标签依赖关系建模的结合，显著优于标准LSTM基线模型。
• 模型通过编码器LSTM组件有效利用了输入序列中的长距离依赖关系。
• 性能提升证明了将固定长度编码作为序列标注初始状态的有效性。