[论文解读] Densely Connected Bidirectional LSTM with Applications to Sentence Classification

Zixiang Ding, Rui Xia+3 more|arXiv (Cornell University)|Feb 3, 2018

Topic Modeling参考文献 19被引用 6

一句话总结

本文提出了一种密集连接双向长短期记忆网络（DC-Bi-LSTM），一种深层RNN架构，通过连接所有先前层的隐藏状态来增强特征重用和信息流动。该模型在五个句子分类基准上相较于标准Bi-LSTM和最先进方法取得了显著的准确率提升，即使参数更少，也能成功训练至20层，克服了梯度消失问题。

ABSTRACT

Deep neural networks have recently been shown to achieve highly competitive performance in many computer vision tasks due to their abilities of exploring in a much larger hypothesis space. However, since most deep architectures like stacked RNNs tend to suffer from the vanishing-gradient and overfitting problems, their effects are still understudied in many NLP tasks. Inspired by this, we propose a novel multi-layer RNN model called densely connected bidirectional long short-term memory (DC-Bi-LSTM) in this paper, which essentially represents each layer by the concatenation of its hidden state and all preceding layers' hidden states, followed by recursively passing each layer's representation to all subsequent layers. We evaluate our proposed model on five benchmark datasets of sentence classification. DC-Bi-LSTM with depth up to 20 can be successfully trained and obtain significant improvements over the traditional Bi-LSTM with the same or even less parameters. Moreover, our model has promising performance compared with the state-of-the-art approaches.

研究动机与目标

• 解决NLP任务中深层堆叠RNN的梯度消失和过拟合问题。
• 改进深层双向LSTM架构中的特征重用和信息流动。
• 实现非常深的RNN（最多20层）在句子分类任务中的成功训练。
• 在性能和参数效率方面优于标准Bi-LSTM和最先进模型。

提出的方法

• 该模型采用密集连接架构，其中每一层的输入是原始输入序列与所有先前层隐藏状态的拼接。
• 每一层通过双向LSTM处理输入，生成新的隐藏状态表示。
• 所有先前层的隐藏状态被拼接并传递给后续层，实现深度特征重用。
• 最终层的隐藏状态被用作分类的句子级表示。
• 该架构通过标准反向传播和梯度下降进行端到端训练。
• 对超参数（如深度（dl）、隐藏单元数（dh）和序列长度（th））进行调优以获得最佳性能。

实验结果

研究问题

• RQ1 密集连接架构能否缓解深层双向LSTM中的梯度消失和过拟合问题？
• RQ2 拼接所有先前层的隐藏状态是否能改善特征表示和分类准确率？
• RQ3 DC-Bi-LSTM能否在20层或更多层的深度下成功训练，而标准堆叠Bi-LSTM则不能？
• RQ4 DC-Bi-LSTM在性能和参数效率方面与标准Bi-LSTM及最先进模型相比如何？

主要发现

• DC-Bi-LSTM在20层时在SST-1上达到50.2%的准确率，在SST-2上达到88.8%，优于标准Bi-LSTM基线（分别为49.2%和87.2%），且参数数量相同或更少。
• 当深度为15层（dl=15，dh=13）时，DC-Bi-LSTM在SST-1（51.9%）和SST-2（89.7%）上表现最佳，表明该设置下存在最优深度。
• 当参数量固定为1.44M时，DC-Bi-LSTM在10层（dl=10，dh=20）时在SST-1上达到51.0%，在SST-2上达到88.5%，显示出优于Bi-LSTM的参数效率。
• 将深度（dl）从0增加到20在SST-1和SST-2上均持续提升性能，分别提高了1.7%和1.3%，证明了更深架构的优势。
• 将隐藏单元数（dh）从0增加到20导致准确率稳步提升，在dh=20时达到SST-1的51.0%和SST-2的88.5%，证实了每层表示能力的重要性。
• 该模型在深度达20层时仍保持稳定和可训练，而标准堆叠LSTM在超过5层后性能急剧下降（例如，深度为8时准确率仅为30%），证实了其在训练方面的优势。