[论文解读] Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Path

Yan Xu, Lili Mou+4 more|arXiv (Cornell University)|Aug 15, 2015

Topic Modeling参考文献 29被引用 114

一句话总结

本文提出SDP-LSTM，一种通过多通道长短期记忆（LSTM）网络处理实体间最短依存路径（SDP）来分类关系的神经网络。通过利用依存路径上的词嵌入、词性标注、语法关系和WordNet上位词，并应用定制化的dropout策略，该模型在SemEval 2010基准测试中取得了83.7%的F₁分数，在公平评估设置下优于先前方法。

ABSTRACT

Relation classification is an important research arena in the field of natural language processing (NLP). In this paper, we present SDP-LSTM, a novel neural network to classify the relation of two entities in a sentence. Our neural architecture leverages the shortest dependency path (SDP) between two entities; multichannel recurrent neural networks, with long short term memory (LSTM) units, pick up heterogeneous information along the SDP. Our proposed model has several distinct features: (1) The shortest dependency paths retain most relevant information (to relation classification), while eliminating irrelevant words in the sentence. (2) The multichannel LSTM networks allow effective information integration from heterogeneous sources over the dependency paths. (3) A customized dropout strategy regularizes the neural network to alleviate overfitting. We test our model on the SemEval 2010 relation classification task, and achieve an $F_1$-score of 83.7\%, higher than competing methods in the literature.

研究动机与目标

• 通过利用句法结构和语言知识，提升自然语言处理中的关系分类性能。
• 通过聚焦于实体间的最短依存路径（SDP），解决噪声和无关句子内容的挑战。
• 通过将SDP拆分为从每个实体到其共同祖先的两个子路径，有效建模方向性关系。
• 将异构语言信息（如词性标注、语法关系和WordNet上位词）整合到统一的深度学习框架中。
• 通过针对SDP-LSTM架构定制的dropout策略，减少神经网络的过拟合。

提出的方法

• 该模型从句子中提取两个目标实体之间的最短依存路径（SDP），仅保留对关系分类最相关的词语。
• 将SDP拆分为两条子路径：分别从每个实体到其最低共同祖先，以实现方向敏感的处理。
• 基于LSTM单元的多通道循环神经网络并行处理沿每条子路径的不同语言特征（词嵌入、词性标注、语法关系、WordNet上位词）。
• 将两条子路径的特征拼接后输入最终分类器，使用softmax结合交叉熵损失进行关系预测。
• 在训练过程中应用定制化的dropout策略，以正则化网络并减轻对SDP表示的过拟合。
• 使用随机梯度下降并结合时间反向传播，在SemEval 2010数据集上端到端训练该模型。

实验结果

研究问题

• RQ1 最短依存路径（SDP）能否作为关系分类的稳健且信息丰富的表示，有效过滤无关句子词汇？
• RQ2 将SDP建模为两条具有方向差异的子路径，是否相比将其视为单一序列能更有效地捕捉关系的方向性？
• RQ3 异构语言特征（如词性标注、语法关系和WordNet上位词）在多大程度上能与词嵌入互补，从而提升分类性能？
• RQ4 与标准RNN或其他序列模型相比，LSTM单元在捕捉SDP上长距离依赖关系方面有多有效？
• RQ5 针对有限标注数据训练的关系分类模型，定制化的dropout策略是否能显著减少过拟合？

主要发现

• SDP-LSTM在SemEval 2010关系分类基准测试中取得了83.7%的F₁分数，优于所有对比方法，在未进行数据清洗的公平评估中表现更优。
• 仅使用SDP上的词嵌入即可达到82.35%的F₁分数，表明其基线性能强大，显著优于先前模型如CNN（69.7%）和RNN（74.9–79.1%）。
• 仅引入语法关系即可将性能提升至83.21%，而将全部四个通道（词、词性标注、语法关系、WordNet）结合后，F₁分数达到最高值83.70%。
• 消融实验表明，LSTM单元比标准RNN更有效，后者在未使用LSTM门控的情况下仅达到82.8%的F₁分数。
• 处理整个依存路径（而非两条子路径）的F₁分数为82.2%，表明方向性建模能有效提升性能。
• 添加词性标注带来了0.63%的微小提升，表明尽管其单独信息量有限，但仍能提供互补的语言线索。