[论文解读] Dependency-based Convolutional Neural Networks for Sentence Embedding

Mingbo Ma, Liang Huang+2 more|arXiv (Cornell University)|Jul 7, 2015

Topic Modeling参考文献 21被引用 74

一句话总结

本文提出依赖关系卷积神经网络（DCNNs），利用句法依存树捕捉句子中的长距离依赖关系，用基于树的n-gram替代传统的序列n-gram。通过在每个词到根节点的祖先路径上进行卷积操作，该模型在情感分析和问题分类任务中表现更优，在TREC数据集上达到了当前最优的准确率，优于先前包括使用手工设计特征在内的各类方法。

ABSTRACT

In sentence modeling and classification, convolutional neural network approaches have recently achieved state-of-the-art results, but all such efforts process word vectors sequentially and neglect long-distance dependencies. To exploit both deep learning and linguistic structures, we propose a tree-based convolutional neural network model which exploit various long-distance relationships between words. Our model improves the sequential baselines on all three sentiment and question classification tasks, and achieves the highest published accuracy on TREC.

研究动机与目标

• 解决传统序列CNN在捕捉句子长距离依赖关系方面的局限性。
• 将句法结构（依存树）整合到深度学习中，以提升句子建模能力。
• 通过密集词嵌入缓解基于树的n-gram中的数据稀疏问题。
• 开发一种无需依赖手工规则即可自动学习语言结构的方法。
• 在句子分类任务中展示优越性能，尤其在存在长距离依赖的场景下。

提出的方法

• 模型将表面n-gram替换为从依存解析树中提取的基于树的n-gram。
• 对于每个词，通过连接该词及其祖先（父节点、祖父母节点等）构成序列，直至固定深度。
• 使用ReLU或Sigmoid激活函数，对这些祖先路径序列应用卷积滤波器。
• 滤波器权重在句子所有位置间共享，从而实现参数效率。
• 通过在每个词的祖先路径生成的所有特征图上进行最大池化，形成最终的句子表征。
• 使用词嵌入作为输入，通过反向传播端到端训练模型。

实验结果

研究问题

• RQ1 基于依存关系的卷积网络是否能通过捕捉长程句法依赖关系来改善句子表征？
• RQ2 使用基于树的n-gram替代序列n-gram是否能在句子分类任务中带来更好的性能？
• RQ3 该模型在具有复杂句法结构的数据集（如TREC和情感分析）上的表现如何？
• RQ4 该模型是否能在不依赖手工设计语言特征的情况下超越序列CNN？
• RQ5 解析树质量对模型性能有何影响，特别是在噪声较大或非正式文本中？

主要发现

• DCNN模型在TREC数据集上达到了已发表的最高准确率，优于所有先前方法，包括那些经过大量特征工程的方法。
• 在TREC细粒度分类任务中，该模型显著优于序列CNN，展现出对长距离依赖关系更强的处理能力。
• 当基线CNN因局部n-gram误导而错误分类时（如将'What flower'误判为地点，原因在于'Hawaii'和'state'），该模型能正确分类。
• 错误分析表明，该模型在正式且解析准确的文本（如TREC）上表现优于非正式或噪声较多的文本（如Rotten Tomatoes），原因在于解析准确率更高。
• 该模型成功捕捉到具有语言学意义的基于树的三元组，例如在正面情感句子中识别出'ROOT – moving – stories'。
• 尽管部分错误源于解析不准确，DCNN在所有四个评估任务中均持续优于序列CNN基线模型。