[论文解读] Classifying Relations by Ranking with Convolutional Neural Networks

Cícero Nogueira dos Santos, Bing Xiang+1 more|arXiv (Cornell University)|Apr 24, 2015

Topic Modeling参考文献 12被引用 113

一句话总结

本文提出CR-CNN，一种卷积神经网络，通过排序而非Softmax分类来识别关系，利用学习得到的类别嵌入和一种新颖的成对排序损失函数，以减轻人为设定的'其他'类别带来的负面影响。在SemEval-2010任务8数据集上，CR-CNN在不使用人工特征的情况下实现了84.1的F1分数，优于以往最先进方法，仅依赖词嵌入和目标名词之间的文本内容。

ABSTRACT

Relation classification is an important semantic processing task for which state-ofthe-art systems still rely on costly handcrafted features. In this work we tackle the relation classification task using a convolutional neural network that performs classification by ranking (CR-CNN). We propose a new pairwise ranking loss function that makes it easy to reduce the impact of artificial classes. We perform experiments using the the SemEval-2010 Task 8 dataset, which is designed for the task of classifying the relationship between two nominals marked in a sentence. Using CRCNN, we outperform the state-of-the-art for this dataset and achieve a F1 of 84.1 without using any costly handcrafted features. Additionally, our experimental results show that: (1) our approach is more effective than CNN followed by a softmax classifier; (2) omitting the representation of the artificial class Other improves both precision and recall; and (3) using only word embeddings as input features is enough to achieve state-of-the-art results if we consider only the text between the two target nominals.

研究动机与目标

• 解决当前最先进关系分类系统依赖昂贵人工特征所带来的局限性。
• 通过用基于排序的方法替代基于Softmax的分类，提升在SemEval-2010任务8基准上的性能。
• 通过一种新颖的损失函数和嵌入省略策略，减轻人为设定的'其他'关系类别带来的负面影响。
• 证明仅使用词嵌入，尤其是目标名词之间的文本，即可实现最先进性能。
• 通过识别对每种类别预测贡献最大的三元组，实现模型预测的可解释性。

提出的方法

• CR-CNN使用卷积神经网络，从词嵌入中生成输入句子的分布式表示。
• 每个关系类别由类别嵌入矩阵中的一个学习向量表示，网络通过句子表示与类别嵌入之间的点积计算每个类别的得分。
• 引入一种新颖的成对排序损失函数，通过将正确关系排在错误关系之前来优化模型，从而降低人为'其他'类别带来的影响。
• 模型仅使用词嵌入作为输入，端到端进行训练，可选地加入词位置嵌入（WPEs）以提升性能。
• 网络架构支持可解释性，通过计算三元组对最终得分的影响程度，评估其贡献值。
• 在推理阶段，从类别嵌入矩阵中省略'其他'类别，以提高精确率和召回率。

实验结果

研究问题

• RQ1 基于CNN的模型是否能在不依赖昂贵人工特征的情况下，实现关系分类的最先进性能？
• RQ2 基于排序的分类方法是否在关系分类任务中优于传统的基于Softmax的分类方法？
• RQ3 所提出的成对排序损失在缓解人为'其他'关系类别负面影响方面的有效性如何？
• RQ4 在不使用位置嵌入等附加特征的情况下，仅使用两个目标名词之间的文本，性能能维持到何种程度？
• RQ5 能否通过识别输入句子中最具影响力的三元组，来解释模型的预测结果？

主要发现

• CR-CNN在SemEval-2010任务8数据集上实现了84.1的F1分数，优于以往最先进方法，且未使用任何人工特征。
• 基于排序的方法结合所提出的损失函数，优于标准CNN后接Softmax分类器的设置，证明了排序范式的优势。
• 省略'其他'类别嵌入可同时提升精确率与召回率，表明当人为类别被同等对待时，可能扭曲模型的学习过程。
• 仅使用两个目标名词之间文本的词嵌入即可获得优异性能，表明最小化输入亦足以实现高精度。
• 模型识别出具有信息量的三元组，如'away from the'对应于'Entity-Origin'，'the source of'对应于'Origin-Entity'，验证了模型的可解释性及其与语义含义的一致性。
• 贡献度分析显示，对得分影响较大的三元组在语义上与预测的关系类型高度相关，验证了模型的可解释性。