[论文解读] Learning text representation using recurrent convolutional neural network with highway layers

Ying Wen, Weinan Zhang+2 more|arXiv (Cornell University)|Jun 22, 2016

Topic Modeling参考文献 15被引用 49

一句话总结

本文提出RCNN-HW，一种混合神经网络，将高速公路层（highway layers）集成到循环卷积神经网络中，以提升情感分析任务中的文本表征能力。通过在卷积特征提取前，利用高速公路层有选择性地优化双向RNN输出的特征，该模型在长文本情感分类任务中表现优异，显著优于CNN、RNN和标准RCNN基线模型，尤其在长序列上优势明显。

ABSTRACT

Recently, the rapid development of word embedding and neural networks has brought new inspiration to various NLP and IR tasks. In this paper, we describe a staged hybrid model combining Recurrent Convolutional Neural Networks (RCNN) with highway layers. The highway network module is incorporated in the middle takes the output of the bi-directional Recurrent Neural Network (Bi-RNN) module in the first stage and provides the Convolutional Neural Network (CNN) module in the last stage with the input. The experiment shows that our model outperforms common neural network models (CNN, RNN, Bi-RNN) on a sentiment analysis task. Besides, the analysis of how sequence length influences the RCNN with highway layers shows that our model could learn good representation for the long text.

研究动机与目标

• 通过结合循环网络与卷积网络的优势，提升自然语言处理任务中的文本表征学习能力。
• 解决RNN在捕捉长距离依赖关系方面的局限性，以及CNN对感受野大小和局部上下文敏感的问题。
• 探究高速公路层是否能增强序列建模中情感分析的特征选择能力。
• 在不同输入序列长度下评估模型性能，尤其关注长文档的表现。

提出的方法

• 模型采用分阶段架构：双向GRU用于处理输入序列，以捕捉前向和后向上下文信息。
• 双向GRU的输出被送入一个或多个高速公路层，这些层通过可学习门控机制选择性地传递或变换特征。
• 高速公路层采用门控机制：$ h_t = g_t \odot x_t + (1 - g_t) \odot \mathrm{tanh}(Wx_t + b) $，其中$ g_t $控制特征流动。
• 经过变换的表征被输入到一维卷积层中，使用多个滤波器提取局部特征。
• 对卷积特征图应用最大池化操作，生成固定长度的句子表征。
• 最终表征通过全连接层与Softmax分类器结合，用于情感分类。

实验结果

研究问题

• RQ1 将高速公路层集成到RCNN中是否能提升情感分析任务中的文本表征学习能力？
• RQ2 RCNN-HW模型在情感分类任务中相较于标准CNN、RNN和RCNN基线模型表现如何？
• RQ3 输入序列长度如何影响RCNN-HW与其他神经网络架构的性能表现？
• RQ4 高速公路层是否能增强特征选择能力并降低长文本表征中的噪声？

主要发现

• RCNN-HW在情感分类任务中优于CNN、RNN、Bi-RNN和标准RCNN，所有测试模型中准确率最高。
• 使用一层或两层高速公路层的模型表现最佳，增加更多层不仅无法提升性能，反而可能导致性能下降。
• 单层MLP无法像高速公路层那样显著提升性能，表明高速公路层中的门控机制在特征选择方面更为有效。
• RCNN-HW在长文本（如序列长度498）上表现显著更优，而其他模型在序列长度增加时性能下降或趋于饱和。
• 该模型能正确分类包含双重否定和长距离依赖关系的复杂长篇评论，例如一段498个词的评论，而其他模型则出现误分类。
• 分析结果表明，RCNN-HW在降低噪声和保留长距离上下文方面优于采用CNN在RNN前处理或更简单架构的模型。