[论文解读] A Fast Unified Model for Parsing and Sentence Understanding

Samuel R. Bowman, Jon Gauthier+4 more|arXiv (Cornell University)|Mar 19, 2016

Topic Modeling参考文献 38被引用 34

一句话总结

该论文提出SPINN，一种快速、统一的神经网络模型，通过将树状结构解释整合到移位-归约解析框架中，实现了解析与句子理解的联合建模。该模型支持批量计算，可在原始文本上进行端到端学习且准确率损失极小，并在SNLI蕴含任务上达到最先进性能，优于RNN和TreeRNN基线模型，推理速度最快提升25倍。

ABSTRACT

Tree-structured neural networks exploit valuable syntactic parse information as they interpret the meanings of sentences. However, they suffer from two key technical problems that make them slow and unwieldy for large-scale NLP tasks: they usually operate on parsed sentences and they do not directly support batched computation. We address these issues by introducing the Stack-augmented Parser-Interpreter Neural Network (SPINN), which combines parsing and interpretation within a single tree-sequence hybrid model by integrating tree-structured sentence interpretation into the linear sequential structure of a shift-reduce parser. Our model supports batched computation for a speedup of up to 25 times over other tree-structured models, and its integrated parser can operate on unparsed data with little loss in accuracy. We evaluate it on the Stanford NLI entailment task and show that it significantly outperforms other sentence-encoding models.

研究动机与目标

• 解决树状结构神经网络（TreeRNNs）在NLP任务中效率低下且依赖解析的问题。
• 为树状结构模型实现批量计算，这对于大规模数据集的训练至关重要。
• 开发一种统一架构，联合学习解析与句子表征，无需依赖外部解析器。
• 通过结合局部线性上下文与分层树结构，提升句子编码性能。
• 证明即使内部解析器能力较弱，仍可取得优异性能，表明模型对解析错误具有鲁棒性。

提出的方法

• 设计一种堆栈增强的解析-解释神经网络（SPINN），通过移位-归约解析操作将树状结构计算线性化。
• 在SPINN架构中集成神经网络解析器，从原始输入实时生成解析结构。
• 使用追踪LSTM在解析转换过程中保持上下文，使模型能在解析过程中学习表征。
• 应用组合函数将词向量与解析树节点结合，形成分层句子表征。
• 通过在共享计算图中展开多个句子的解析转换，支持批量计算。
• 采用硬性转换决策（移位/归约）并结合可微组件，实现解析器与解释器的端到端联合训练。

实验结果

研究问题

• RQ1 神经网络模型是否能在单一统一架构中联合学习解析与句子表征？
• RQ2 在模型内部集成解析器是否能实现对原始未解析文本的准确句子编码，而无需外部解析？
• RQ3 与纯RNN或TreeRNN模型相比，树-序列混合架构是否能提升句子理解任务的性能？
• RQ4 批量计算在树状结构模型中在不损失准确率的前提下，能在多大程度上提升推理速度？
• RQ5 由于模型具备学习上下文相关解析结构的能力，即使内部解析器能力较弱，是否仍能取得优异性能？

主要发现

• SPINN通过在多个句子间实现高效的批量计算，使推理速度相比标准TreeRNNs最快提升25倍。
• 该模型在原始文本上保持了高准确率，与使用标准解析结果的模型相比性能仅略有下降。
• 在SNLI蕴含任务中，SPINN显著优于RNN和TreeRNN基线模型，长句（20个词以上）测试准确率达到80.2%，而RNN为76.7%。
• 树-序列混合架构（SPINN-PI）在长句和复杂句上均优于纯RNN和TreeRNN模型。
• 即使内部解析器相对简单，SPINN仍取得优异性能，表明模型能够学习到有助于语义理解的有用解析结构。
• 模型在蕴含对与矛盾对上的表现优于中性对，与先前研究的模式一致，表明中性类别样本仍具挑战性。