[论文解读] Semantic Relation Classification via Convolutional Neural Networks with Simple Negative Sampling

Kun Xu, Yansong Feng+2 more|arXiv (Cornell University)|Jun 25, 2015

Topic Modeling参考文献 9被引用 24

一句话总结

该论文提出了一种卷积神经网络（CNN）模型，通过聚焦于主语与宾语实体之间的最短依存路径来学习鲁棒的语义关系表征，同时引入一种基于反转依存路径的新颖负采样策略，以改善主语-宾语匹配。该方法在SemEval-2010 Task 8数据集上取得了最先进性能，使用词法特征时F1得分为85.6%，仅使用负采样时F1得分为85.4%。

ABSTRACT

Syntactic features play an essential role in identifying relationship in a sentence. Previous neural network models often suffer from irrelevant information introduced when subjects and objects are in a long distance. In this paper, we propose to learn more robust relation representations from the shortest dependency path through a convolution neural network. We further propose a straightforward negative sampling strategy to improve the assignment of subjects and objects. Experimental results show that our method outperforms the state-of-the-art methods on the SemEval-2010 Task 8 dataset.

研究动机与目标

• 解决关系抽取中长距离主语与宾语带来的无关句法信息问题。
• 通过建模关系方向性，改善关系分类中的主语-宾语匹配。
• 利用依存路径结构提升关系表征学习的鲁棒性。
• 提出一种基于反转依存路径的简单而有效的负采样策略。
• 在SemEval-2010 Task 8基准上超越现有神经网络模型。

提出的方法

• 该模型将两个名词（主语与宾语）之间的最短依存路径作为输入，包括词语、依存边方向及标签。
• 通过学习得到的嵌入矩阵 $ W_e $ 使用查表法对依存路径中的每个节点进行嵌入。
• 使用固定大小感受野的卷积层捕捉每个节点周围的局部特征，通过线性变换 $ W_1 $ 提取隐藏特征。
• 对卷积特征图应用最大池化操作，生成大小为 $ n_1 $ 的固定大小全局表示向量。
• 在第二层隐藏层中使用双曲正切非线性激活函数进一步优化表示，然后输入到Softmax分类器。
• 提出一种新颖的负采样策略，将从宾语到主语的反转依存路径作为负样本，以改善主语-宾语匹配。

实验结果

研究问题

• RQ1 聚焦于最短依存路径是否能提升神经网络模型中的关系表征学习？
• RQ2 将反转依存路径作为负样本是否能增强关系分类中的主语-宾语匹配？
• RQ3 一种简单的负采样策略是否能在SemEval-2010上超越随机负采样及现有方法？
• RQ4 与更简单的路径表示相比，包含依存标签和方向的信息如何影响模型性能？
• RQ5 所提方法在不依赖词法特征的情况下，其泛化能力如何，能否在无外部特征时实现最先进性能？

主要发现

• 所提模型depLCNN+NS在引入WordNet及名词周围的词语后，在SemEval-2010 Task 8测试集上达到85.6%的F1得分，优于先前最先进系统。
• 即使不使用额外词法特征，depLCNN+NS仍取得84.0%的F1得分，超过依赖外部特征的MVRNN+和CNN+模型。
• 使用反转依存路径作为负采样的策略使F1得分相比基线模型提升2.1%（从81.3%提升至83.4%），在结合词法特征时提升1.9%。
• 使用反转依存路径作为负样本的方法在开发集上达到85.4%的F1得分，优于从NYT数据集随机采样的负样本（83.5%）。
• 实验表明，依存路径的方向性为判断主语-宾语匹配提供了强线索，且从反转路径中学习可提升泛化能力。
• 消融实验确认，依存标签显著提升模型性能，相较于仅使用边方向的模型，标签信息增强了判别能力。