[论文解读] A Dependency-Based Neural Network for Relation Classification

Yang Liu, Furu Wei+4 more|arXiv (Cornell University)|Jul 16, 2015

Topic Modeling参考文献 15被引用 53

一句话总结

本文提出一种基于依存关系的神经网络（DepNN），通过卷积神经网络（CNN）处理依存路径，递归神经网络（RNN）建模附加子树，对增强依存路径（ADP）进行建模。ADP结合了最短依存路径与路径上各节点的附加子树。该方法在SemEval-2010数据集上实现了83.6的F1分数，达到当前最优性能，通过有效整合句法结构与语义表示，显著优于先前模型。

ABSTRACT

Previous research on relation classification has verified the effectiveness of using dependency shortest paths or subtrees. In this paper, we further explore how to make full use of the combination of these dependency information. We first propose a new structure, termed augmented dependency path (ADP), which is composed of the shortest dependency path between two entities and the subtrees attached to the shortest path. To exploit the semantic representation behind the ADP structure, we develop dependency-based neural networks (DepNN): a recursive neural network designed to model the subtrees, and a convolutional neural network to capture the most important features on the shortest path. Experiments on the SemEval-2010 dataset show that our proposed method achieves state-of-art results.

研究动机与目标

• 通过比以往方法更有效地整合最短依存路径与附加子树，提升关系分类性能。
• 解决在神经网络框架中统一且高效地结合句法路径与子树信息的挑战。
• 开发一种神经网络架构，同时捕捉子树的层次结构语义与路径的平面特征，以获得更优的关系表征。
• 证明增强依存路径（ADP）结构相比仅使用最短路径或仅使用子树，能捕获更具判别性的信息。

提出的方法

• 提出一种增强依存路径（ADP），将两个实体之间的最短依存路径与其上所有节点的附加子树相结合。
• 采用卷积神经网络（CNN）从最短依存路径上的单词序列中提取关键特征。
• 利用递归神经网络（RNN）对最短路径上每个单词所附子树的层次结构进行建模。
• 将子树的表征与路径上的每个单词结合，丰富其语义向量，从而构建更具信息量的路径表征。
• 将增强后的路径表征整合至最终分类器中，用于关系类型预测。
• 使用词嵌入与位置特征，可选地引入命名实体识别（NER）等外部特征以提升性能。

实验结果

研究问题

• RQ1 通过增强依存路径（ADP）将最短依存路径与附加子树结合，能否提升关系分类性能？
• RQ2 采用CNN处理平面路径、RNN处理层次子树的混合神经架构，是否优于将路径与子树统一处理的模型？
• RQ3 与SVM、MV-RNN和DT-RNN等现有方法相比，所提出的DepNN模型在准确率与训练效率方面表现如何？
• RQ4 命名实体识别（NER）与词性标注（POS）等附加特征在SemEval-2010基准上对DepNN模型性能的提升程度如何？

主要发现

• 当引入NER等附加特征时，DepNN在SemEval-2010数据集上实现了SOTA的83.6 F1分数。
• 与依赖手工特征或复杂矩阵运算的SVM和MV-RNN相比，DepNN在获得更高F1分数的同时展现出更优的训练效率。
• ADP结构显著优于仅使用最短路径或仅使用子树的模型，证明了同时结合句法路径与子树的优越性。
• CNN用于路径特征提取，RNN用于子树建模，有效学习了局部与层次化的语义模式。
• 该模型表现出强鲁棒性与可扩展性，即使不使用外部特征也能保持高性能，且在引入NER与POS标签后性能进一步提升。
• DT-RNN将路径与子树建模视为统一处理，性能劣于DepNN，表明对路径与子树分量分别建模更具优势。