[论文解读] A C-LSTM Neural Network for Text Classification

Chunting Zhou, Chonglin Sun+2 more|arXiv (Cornell University)|Nov 27, 2015

Topic Modeling参考文献 19被引用 657

一句话总结

该论文提出C-LSTM，一种统一的神经网络架构，结合卷积神经网络（CNN）进行局部短语特征提取与长短期记忆（LSTM）网络以建模句子表征中的序列依赖关系。通过将CNN生成的高层n-gram特征输入LSTM，该模型同时捕捉了局部短语语义与全局句子结构，在情感分类和问题分类任务上实现了最先进或具有竞争力的性能，且无需依赖外部语言学标注。

ABSTRACT

Neural network models have been demonstrated to be capable of achieving remarkable performance in sentence and document modeling. Convolutional neural network (CNN) and recurrent neural network (RNN) are two mainstream architectures for such modeling tasks, which adopt totally different ways of understanding natural languages. In this work, we combine the strengths of both architectures and propose a novel and unified model called C-LSTM for sentence representation and text classification. C-LSTM utilizes CNN to extract a sequence of higher-level phrase representations, and are fed into a long short-term memory recurrent neural network (LSTM) to obtain the sentence representation. C-LSTM is able to capture both local features of phrases as well as global and temporal sentence semantics. We evaluate the proposed architecture on sentiment classification and question classification tasks. The experimental results show that the C-LSTM outperforms both CNN and LSTM and can achieve excellent performance on these tasks.

研究动机与目标

• 解决独立CNN与RNN在捕捉文本中局部短语特征与长期序列依赖关系方面的局限性。
• 开发一种端到端的统一架构，充分利用CNN与LSTM的优势，且不依赖句法解析树或外部语言学知识。
• 通过分层特征学习改进下游任务（如情感分类与问题类型分类）的句子表征。
• 评估从高层表征（如n-gram）学习是否能增强LSTM建模长距离依赖的能力。

提出的方法

• 对预训练词向量应用单层CNN以提取局部n-gram特征，生成高层短语表征。
• 将CNN输出的特征图组织为高层表征序列，保持其顺序以支持序列建模。
• 将这些序列化的高层特征输入LSTM，以捕捉长期依赖关系与全局句子语义。
• 整个模型以端到端方式训练，无需外部语言学预处理或句法解析。
• 评估多种滤波器配置，包括单层固定滤波器大小与多层可变滤波器长度。
• 通过网格搜索调整超参数，并在情感分类与问题分类的基准数据集上评估性能。

实验结果

研究问题

• RQ1 在统一架构中结合CNN与LSTM是否能提升文本分类任务中的句子表征？
• RQ2 与直接从词序列输入相比，从高层表征（n-gram）学习是否能增强LSTM建模长期依赖的能力？
• RQ3 CNN层中滤波器大小的选择如何影响局部特征提取的模型性能？
• RQ4 C-LSTM模型是否能在不依赖人工设计特征或句法解析树的情况下取得具有竞争力的结果？

主要发现

• C-LSTM在情感分类与六分类问题分类任务上均优于独立的CNN与LSTM模型。
• 在五分类情感分类任务中，C-LSTM取得了第四名的已发表结果，表明其在端到端训练且无语言学标注的情况下表现强劲。
• 在二分类情感分类任务中，C-LSTM的性能与最先进模型相当，包括那些依赖大量特征工程的模型。
• 单层CNN搭配滤波器长度为3的配置始终优于其他配置，表明三元组特征在所研究任务中尤为有效。
• 该模型性能接近使用高度工程化特征（如词性标注、WordNet、解析器输出）的SVM，但无需人工设计特征或易出错的NLP工具。
• 结果证实，LSTM从高层表征中学习序列模式能显著获益，表明分层特征抽象可提升序列建模能力。