[论文解读] Cell-aware Stacked LSTMs for Modeling Sentences

Jihun Choi, Taeuk Kim+1 more|arXiv (Cornell University)|Sep 7, 2018

Topic Modeling参考文献 64被引用 3

一句话总结

该论文提出了一种新型堆叠LSTM架构——Cell-aware Stacked LSTMs（CAS-LSTM），通过软门控机制将低层的隐藏状态和记忆单元状态整合到垂直信息流中。通过使垂直连接能够利用LSTM的门控机制，CAS-LSTM在多个自然语言处理任务中实现了显著的性能提升，在SNLI、SST-2和Quora Question Pairs等基准数据集上均优于标准堆叠LSTM。

ABSTRACT

We propose a method of stacking multiple long short-term memory (LSTM) layers for modeling sentences. In contrast to the conventional stacked LSTMs where only hidden states are fed as input to the next layer, the suggested architecture accepts both hidden and memory cell states of the preceding layer and fuses information from the left and the lower context using the soft gating mechanism of LSTMs. Thus the architecture modulates the amount of information to be delivered not only in horizontal recurrence but also in vertical connections, from which useful features extracted from lower layers are effectively conveyed to upper layers. We dub this architecture Cell-aware Stacked LSTM (CAS-LSTM) and show from experiments that our models bring significant performance gain over the standard LSTMs on benchmark datasets for natural language inference, paraphrase detection, sentiment classification, and machine translation. We also conduct extensive qualitative analysis to understand the internal behavior of the suggested approach.

研究动机与目标

• 通过在堆叠LSTM层之间增强信息流，超越标准隐藏状态传播，提升句子表征学习能力。
• 探究将低层记忆单元状态引入垂直连接是否能实现对序列依赖关系的更好建模。
• 设计一种简单而高效的架构，在保持与标准堆叠LSTMs后向兼容的同时提升性能。
• 通过实证验证所提出架构在自然语言蕴涵、情感分类和机器翻译等多样化NLP任务中的有效性。
• 通过门控行为与信息流分析，提供对所提架构内部动态机制的定性洞察。

提出的方法

• 该架构通过将前一层的隐藏状态和记忆单元状态输入当前层的计算过程，扩展了标准堆叠LSTM。
• 引入一个新的遗忘门 $\mathbf{g}_t^l$，用于控制来自下层单元状态 $\mathbf{c}_t^{l-1}$ 的垂直信息流动，其机制与时间遗忘门类似，采用软门控方式。
• 垂直门 $\mathbf{g}_t^l$ 由当前隐藏状态 $\mathbf{h}_t^{l-1}$ 和单元状态 $\mathbf{c}_t^{l-1}$ 共同计算，实现对来自下层信息的动态调制。
• 最终单元状态 $\mathbf{c}_t^l$ 通过输入候选、前一单元状态和下层单元状态的加权和计算得出，权重由输入门、遗忘门和垂直门共同决定。
• 引入可学习的缩放因子 $\bm{\lambda}$，以平衡来自左侧和下方上下文的贡献，提升模型稳定性和性能。
• 只要所有层具有相同的隐藏状态维度，该架构即可保持与标准堆叠LSTM的后向兼容性。

实验结果

研究问题

• RQ1 将低层的记忆单元状态引入垂直信息流，是否能提升堆叠LSTM中的句子表征学习能力？
• RQ2 为垂直连接专门设计的软门控机制是否能带来对层次化与序列依赖关系更优的建模？
• RQ3 在多样化NLP任务中，该架构与标准堆叠LSTM及其他变体（如残差连接或跳跃连接）相比，性能表现如何？
• RQ4 与输出门相比，垂直遗忘门在从低层单元状态中选择相关信息方面有何贡献？
• RQ5 实际中学习到的门控机制行为如何？它们是否做出不同的决策以增强信息过滤？

主要发现

• 在SNLI数据集上，CAS-LSTM的测试准确率达到87.0%，优于基线堆叠LSTM及该基准上的最先进模型。
• 在SST-2情感分类数据集上，CAS-LSTM的性能与现有最先进模型持平或更优。
• 在Quora Question Pairs释义检测任务中，CAS-LSTM在性能上持续优于标准堆叠LSTM。
• 消融实验表明，可学习的缩放因子 $\bm{\lambda}$ 能够提升性能，最佳配置相比无 $\bm{\lambda}$ 的变体提升了0.4%的准确率。
• 定性分析显示，垂直遗忘门 $\mathbf{g}_t^l$ 与输出门 $\mathbf{o}_t^{l-1}$ 在信息选择上做出不同决策，验证了新门控机制的互补作用。
• 采用窥视孔连接实现低层上下文整合的模型变体性能低于CAS-LSTM，证明了所提门控机制的优越性。