[论文解读] Enhancing and Combining Sequential and Tree LSTM for Natural Language Inference.

Chen Qian, Xiaodan Zhu+3 more|arXiv (Cornell University)|Sep 20, 2016

Topic Modeling参考文献 23被引用 72

一句话总结

本文提出了一种增强的顺序与树状结构LSTM模型，用于自然语言蕴含任务，通过利用句法解析树并优化顺序编码，在斯坦福自然语言蕴含（SNLI）数据集上提升了性能。该方法在准确率上达到新的最先进水平88.3%，表明采用显式递归建模与句法信息的更简单架构，相比更复杂的模型设计具有显著优势。

ABSTRACT

Reasoning and inference are central to human and artificial intelligence. Modeling inference in human language is notoriously challenging but is fundamental to natural language understanding and many applications. With the availability of large annotated data, neural network models have recently advanced the field significantly. In this paper, we present a new state-of-the-art result, achieving the accuracy of 88.3% on the standard benchmark, the Stanford Natural Language Inference dataset. This result is achieved first through our enhanced sequential encoding model, which outperforms the previous best model that employs more complicated network architectures, suggesting that the potential of sequential LSTM-based models have not been fully explored yet in previous work. We further show that by explicitly considering recursive architectures, we achieve additional improvement. Particularly, incorporating syntactic parse information contributes to our best result; it improves the performance even when the parse information is added to an already very strong system.

研究动机与目标

• 通过增强的顺序与递归LSTM架构，提升神经网络在自然语言蕴含任务中的性能。
• 探究句法解析信息是否能够提升序列建模在蕴含任务中的表现。
• 证明更简单且经过良好优化的模型可在自然语言蕴含任务中超越更复杂的架构。
• 探索顺序与树状结构LSTM在建模语言结构以提升推理能力方面的协同效应。

提出的方法

• 作者设计了一种增强的顺序LSTM模型，在不依赖复杂网络架构的前提下，超越了先前的最先进结果。
• 他们将句法解析树引入模型，以显式建模语言的层次结构。
• 引入树状结构LSTM以捕捉句法结构中的递归依赖关系，增强推理能力。
• 该模型结合顺序与树状结构表示，联合编码前提与假设输入。
• 句法解析信息被用作输入特征，以引导LSTM层中的注意力机制与表征学习。
• 最终模型在SNLI数据集上采用标准优化技术与超参数调优进行端到端训练。

实验结果

研究问题

• RQ1 经过优化的顺序LSTM模型是否能在自然语言蕴含任务中超越更复杂的架构？
• RQ2 在NLI任务中，引入句法解析树如何影响序列建模的性能？
• RQ3 将顺序与树状结构LSTM结合，能在多大程度上提升推理准确率？
• RQ4 在性能优异的现有模型中加入句法信息，是否能带来可测量的性能提升？

主要发现

• 仅使用增强的顺序LSTM模型，便在SNLI基准上实现了88.3%的最先进准确率，超越了采用更复杂架构的先前模型。
• 将树状结构LSTM整合后，性能提升进一步超过仅使用顺序模型的结果。
• 即使在高度准确的现有系统中加入句法解析信息，性能仍得到进一步提升。
• 结果表明，对句法结构的递归建模能显著增强神经网络NLI模型的推理能力。
• 本研究证明，架构简洁性与结构归纳偏置（如句法信息）的结合可带来更优结果。
• 研究结果表明，先前工作中对基于顺序LSTM模型的潜力尚未被充分挖掘。