[论文解读] Dependency Sensitive Convolutional Neural Networks for Modeling Sentences and Documents

Rui Zhang, Honglak Lee+1 more|arXiv (Cornell University)|Nov 8, 2016

Topic Modeling参考文献 25被引用 6

一句话总结

该论文提出依赖敏感卷积神经网络（DSCNN），一种深度学习架构，通过结合长短期记忆（LSTM）网络与卷积层来建模句子和文档，从而在不依赖句法分析的情况下捕捉长距离依赖关系。DSCNN通过分层LSTM和卷积特征提取，有效建模句内与句间依赖，在情感分析、问题类型分类和主观性分类任务中达到最先进性能。

ABSTRACT

The goal of sentence and document modeling is to accurately represent the meaning of sentences and documents for various Natural Language Processing tasks. In this work, we present Dependency Sensitive Convolutional Neural Networks (DSCNN) as a general-purpose classification system for both sentences and documents. DSCNN hierarchically builds textual representations by processing pretrained word embeddings via Long Short-Term Memory networks and subsequently extracting features with convolution operators. Compared with existing recursive neural models with tree structures, DSCNN does not rely on parsers and expensive phrase labeling, and thus is not restricted to sentence-level tasks. Moreover, unlike other CNN-based models that analyze sentences locally by sliding windows, our system captures both the dependency information within each sentence and relationships across sentences in the same document. Experiment results demonstrate that our approach is achieving state-of-the-art performance on several tasks, including sentiment analysis, question type classification, and subjectivity classification.

研究动机与目标

• 开发一种通用神经网络架构，用于句子和文档建模，以捕捉长距离句法和语义依赖关系。
• 克服依赖解析依赖的递归模型和基于局部窗口的CNN在建模跨句子和文档长距离依赖方面的局限性。
• 设计一种仅使用根节点标签的端到端可训练系统，避免昂贵的短语级标注。
• 在情感分析、问题类型分类和主观性分类等任务上，性能超越现有CNN和RNN基线模型。
• 在包括长文档和复杂结构在内的句子级和文档级任务中，证明其有效性。

提出的方法

• DSCNN采用分层架构：对于句子，词嵌入通过单向LSTM处理以编码长距离依赖，随后是具有可变大小滤波器和最大池化的卷积层。
• 对于文档，DSCNN对每句话独立应用LSTM，然后堆叠第二层LSTM以建模句间依赖，再进行卷积特征提取。
• 该模型利用预训练词嵌入作为输入，并通过仅使用根节点标签进行端到端训练，避免依赖句法分析或短语级标注。
• 具有多种滤波器大小的卷积层提取局部和全局特征，最大池化降低维度的同时保留判别性模式。
• 该架构旨在保持长序列中的上下文信息，从而有效建模复杂句法结构。
• 通过LSTM的记忆单元隐式捕捉依赖信息，学习长期依赖关系而无需显式句法分析。

实验结果

研究问题

• RQ1 神经网络是否能够在不依赖依存句法分析或短语级标注的情况下，对句子和文档中的长距离依赖关系进行建模？
• RQ2 将LSTM与卷积层结合，相较于标准CNN或RNN，在句子和文档分类任务中的性能提升程度如何？
• RQ3 DSCNN在捕捉远距离句法依赖方面，相较于使用固定滑动窗口的现有基于CNN的模型，优势有多大？
• RQ4 DSCNN是否能在长序列且结构复杂的文档级任务（如电影评论）中有效泛化？
• RQ5 DSCNN的失败案例是什么？其与词嵌入的局限性或OOV（未登录词）有何关联？

主要发现

• 在MR情感分析数据集上，DSCNN达到最先进准确率，优于所有基线模型，包括Tree-LSTM和MVCNN。
• 在TREC问题分类任务中，DSCNN在所有对比模型中准确率最高，超越CNN-MC、DCNN和Dep-CNN。
• 在SUBJ主观性分类任务中，DSCNN与最佳性能的MVCNN模型持平，展现出在主观与客观文本区分任务中的强大性能。
• 在SST-2数据集上，DSCNN准确率略低于MVCNN，但此差异归因于MVCNN使用了五种词嵌入变体，而非DSCNN的根本性缺陷。
• 在IMDB文档级建模任务中，DSCNN优于词袋模型、深度平均网络和基于RBM的模型，但被利用大量未标注数据的无监督模型（如Paragraph Vector和SA-LSTM）超越。
• 可视化分析显示，DSCNN能正确捕捉长距离依赖弧（例如‘done with’与‘flags’之间的依赖），而CNN-MC则无法检测到，尤其在具有长定语从句的复杂句子中表现更优。