[论文解读] Discriminative Neural Sentence Modeling by Tree-Based Convolution

Lili Mou, Hao Peng+4 more|arXiv (Cornell University)|Apr 5, 2015

Topic Modeling参考文献 36被引用 65

一句话总结

本文提出基于树结构的卷积神经网络（TBCNNs），利用短语结构树或依存句法树通过树状卷积提取结构特征，实现高效的特征学习。TBCNNs 在情感分析和问题分类任务中达到最先进性能，优于以往的神经网络模型和人工设计特征方法。

ABSTRACT

This paper proposes a tree-based convolutional neural network (TBCNN) for discriminative sentence modeling. Our models leverage either constituency trees or dependency trees of sentences. The tree-based convolution process extracts sentences' structural features, and these features are aggregated by max pooling. Such architecture allows short propagation paths between the output layer and underlying feature detectors, which enables effective structural feature learning and extraction. We evaluate our models on two tasks: sentiment analysis and question classification. In both experiments, TBCNN outperforms previous state-of-the-art results, including existing neural networks and dedicated feature/rule engineering. We also make efforts to visualize the tree-based convolution process, shedding light on how our models work.

研究动机与目标

• 开发一种能够有效捕捉句子句法结构的神经网络架构，以实现判别性句子建模。
• 解决标准CNN（缺乏结构感知能力）和RNN（深层树中传播路径过长）在句子表征学习中的局限性。
• 设计一种结合CNN的短传播路径优势与RNN的结构特征学习能力的模型，利用解析树实现。
• 在真实世界NLP任务上评估该模型，并证明其优于现有方法的优越性能。
• 通过可视化特征激活与池化过程，提升模型的可解释性。

提出的方法

• 该模型使用短语结构树（c-TBCNN）或依存句法树（d-TBCNN）作为句子表征的结构骨干。
• 基于树的卷积在解析树的子树上应用固定大小的窗口特征检测器，每个窗口在解析树的节点上滑动。
• 每个卷积窗口的特征向量通过权重矩阵和激活函数计算：$\bm{y} = f(W \cdot [\bm{x}_1; \cdots; \bm{x}_t] + \bm{b})$，其中$\bm{x}_i$为词嵌入向量。
• 最大池化操作对每个特征维度在所有节点中聚合最高激活值，生成固定大小的表征。
• 最终的句子表征被输入分类器，用于下游任务如情感分析和问题分类。
• 该架构确保所有特征到输出层的路径均较短，从而实现对结构依赖关系的高效学习。

实验结果

研究问题

• RQ1 树状卷积能否在保持短信息传播路径的同时，有效从句子中提取句法与语义特征？
• RQ2 利用解析树（短语结构或依存句法）是否能提升句子建模性能，相比平坦的CNN或递归RNN？
• RQ3 TBCNN在情感分析与问题分类任务中与最先进模型相比表现如何？
• RQ4 TBCNN内部的特征学习过程在多大程度上可被解释与可视化？
• RQ5 该模型在不同句长，尤其是长句上，泛化能力如何？

主要发现

• d-TBCNN在情感分析与问题分类任务上均超越了先前最先进结果。
• c-TBCNN与d-TBCNN在所有句长组中均持续优于重新实现的RNN模型，且当句子长度超过20个词时，性能差距进一步扩大。
• 该模型准确率高于RNN基线（重新实现以确保公平比较：43.2% vs. 42.7%）。
• 可视化显示，来自语义上有意义短语（如“the stunning dreamlike visual”）的特征具有更高的池化比例（0.19），表明其与任务的相关性。
• 停用词如“the”和“will”对池化层的贡献极小，与其语义信息量低的特性一致。
• 模型表明，整合多个词的窗口级特征（如“the stunning dreamlike visual”）比孤立的词窗口更具判别力，即使根节点的情感倾向为中性。