[论文解读] Learning Natural Language Inference with LSTM

Shuohang Wang, Jing Jiang|arXiv (Cornell University)|Dec 30, 2015

Topic Modeling参考文献 19被引用 62

一句话总结

该论文提出了一种用于自然语言蕴涵的匹配-LSTM（mLSTM）架构，通过注意力加权表示实现假设与前提之间的逐词匹配，使模型能够选择性地记住关键的不匹配项。该方法在SNLI数据集上实现了86.1%的准确率，优于先前的最先进方法，通过显式捕捉表明矛盾或中性关系的词级不匹配，显著提升了性能。

ABSTRACT

Natural language inference (NLI) is a fundamentally important task in natural language processing that has many applications. The recently released Stanford Natural Language Inference (SNLI) corpus has made it possible to develop and evaluate learning-centered methods such as deep neural networks for natural language inference (NLI). In this paper, we propose a special long short-term memory (LSTM) architecture for NLI. Our model builds on top of a recently proposed neural attention model for NLI but is based on a significantly different idea. Instead of deriving sentence embeddings for the premise and the hypothesis to be used for classification, our solution uses a match-LSTM to perform word-by-word matching of the hypothesis with the premise. This LSTM is able to place more emphasis on important word-level matching results. In particular, we observe that this LSTM remembers important mismatches that are critical for predicting the contradiction or the neutral relationship label. On the SNLI corpus, our model achieves an accuracy of 86.1%, outperforming the state of the art.

研究动机与目标

• 为解决基于句子嵌入的模型在自然语言蕴涵任务中的局限性，这些模型对所有词级匹配一视同仁，未能突出关键不匹配。
• 设计一种神经网络架构，实现假设与前提之间的序列化、逐词匹配，以更好地捕捉显著的匹配模式。
• 通过利用长短期记忆网络保留重要不匹配项并遗忘不相关匹配项，提升在SNLI基准上的推理准确率。
• 分析模型的内部行为，特别是LSTM门的作用，以验证其是否学会在矛盾或中性预测中记住关键不匹配项。

提出的方法

• 该模型使用神经注意力机制，为假设中的每个词生成前提的注意力加权表示。
• 匹配-LSTM按顺序处理假设中的每个词，将注意力加权的前提表示作为每一步的上下文信息。
• 在每个时间步，mLSTM计算一个隐藏状态，该状态整合了当前词嵌入和前提的上下文信息，门控机制控制信息流动。
• mLSTM的最终隐藏状态被用作分类关系（蕴涵、矛盾或中性）的上下文感知表示。
• 模型使用交叉熵损失和随机梯度下降进行端到端训练，输入为预训练的词嵌入。
• 该架构在SNLI数据集上进行评估，性能通过测试集上的整体准确率进行衡量。

实验结果

研究问题

• RQ1 具有LSTM的序列化、逐词匹配机制是否能在自然语言蕴涵任务中超越基于句子嵌入的模型？
• RQ2 mLSTM架构是否能有效学习到保留前提与假设之间表明矛盾或中性关系的关键不匹配项？
• RQ3 内部LSTM门（遗忘门、输入门、输出门）在推理过程中如何反映模型的决策过程？
• RQ4 模型性能在多大程度上依赖于捕捉词级不匹配，而非整体句子相似性？

主要发现

• mLSTM模型在SNLI测试集上达到86.1%的准确率，超过先前最先进方法的83.5%。
• 模型学会遗忘良好的词级匹配（如'cat'与'dog'之间的匹配），同时保留表明矛盾或中性关系的关键不匹配项。
• 遗忘门值的分析显示，矛盾类别的平均值为0.536 ± 0.170，中性类别为0.507 ± 0.148，表明不匹配项在序列中被更长时间保留。
• 输入门与输出门呈现正相关，表明信息流具有动态控制能力，但输出门未观察到明显模式。
• 模型行为证实其优先记住不匹配项，尤其是涉及主语或动词不一致的不匹配项，而非匹配内容。
• 在较小的SICK数据集上的初步实验表现不佳，表明该模型需要大规模训练数据才能有效泛化。