[论文解读] A Bi-LSTM-RNN Model for Relation Classification Using Low-Cost Sequence Features

Fei Li, Meishan Zhang+3 more|arXiv (Cornell University)|Aug 27, 2016

Topic Modeling参考文献 28被引用 20

一句话总结

本文提出一种Bi-LSTM-RNN模型，仅使用低成本的序列特征（词和词性标注）进行关系分类，无需依存句法分析。通过将句子划分为五个部分（之前、实体1、中间、实体2、之后上下文），该模型捕捉上下文表征，在SemEval-2010和BioNLP-ST 2016上均取得具有竞争力的性能，其中中间上下文最为关键，其效果近似于最短依存路径。

ABSTRACT

Relation classification is associated with many potential applications in the artificial intelligence area. Recent approaches usually leverage neural networks based on structure features such as syntactic or dependency features to solve this problem. However, high-cost structure features make such approaches inconvenient to be directly used. In addition, structure features are probably domain-dependent. Therefore, this paper proposes a bi-directional long-short-term-memory recurrent-neural-network (Bi-LSTM-RNN) model based on low-cost sequence features to address relation classification. This model divides a sentence or text segment into five parts, namely two target entities and their three contexts. It learns the representations of entities and their contexts, and uses them to classify relations. We evaluate our model on two standard benchmark datasets in different domains, namely SemEval-2010 Task 8 and BioNLP-ST 2016 Task BB3. In the former dataset, our model achieves comparable performance compared with other models using sequence features. In the latter dataset, our model obtains the third best results compared with other models in the official evaluation. Moreover, we find that the context between two target entities plays the most important role in relation classification. Furthermore, statistic experiments show that the context between two target entities can be used as an approximate replacement of the shortest dependency path when dependency parsing is not used.

研究动机与目标

• 解决关系分类中高成本、领域依赖的结构特征（如句法或依存句法分析）的局限性。
• 开发一种仅依赖低成本序列特征（词和词性标注）的模型，以提升在不同领域间的可移植性。
• 探究不同上下文片段（之前、中间、之后）对关系分类性能的相对贡献。
• 评估在无法进行句法分析时，中间上下文是否可作为最短依存路径（SDP）的有效近似。

提出的方法

• 该模型将每个句子划分为五个片段：之前上下文、第一个实体、中间上下文（两实体之间）、第二个实体和之后上下文。
• 双向LSTM在所有片段上处理词元表征，以捕捉长距离依赖并缓解梯度消失问题。
• 对每个片段的隐藏表征应用最大池化，生成固定长度的上下文向量。
• 将五个池化后的向量拼接，并输入到Softmax层进行最终的关系分类。
• 该模型仅使用词和词性标注作为输入特征，避免了昂贵的句法或依存句法分析。
• 通过统计分析比较两个基准数据集上中间上下文与最短依存路径（SDP）之间的词重叠程度。

实验结果

研究问题

• RQ1 仅使用低成本序列特征（如词和词性标注）的Bi-LSTM-RNN模型能否在关系分类任务中取得具有竞争力的性能？
• RQ2 哪个上下文片段（之前、中间、之后）对关系分类的贡献最大？
• RQ3 两实体之间的中间上下文在多大程度上近似于最短依存路径（SDP）所捕捉的信息？
• RQ4 当中间上下文可作为依存句法分析的可靠替代方案时，是否能有效用于关系分类任务？

主要发现

• 在SemEval-2010任务8数据集上，该模型的性能与使用复杂结构特征的模型相当。
• 在BioNLP-ST 2016任务BB3数据集上，该模型在所有官方提交结果中排名第三，展现出强大的泛化能力。
• 中间上下文对分类准确率的贡献最大，优于之前、之后及实体表征。
• 在SemEval-2010中，82%的最短依存路径（SDP）中的词也出现在中间上下文中。
• 在BioNLP-ST 2016中，61%的SDP词出现在中间上下文中，表明尽管生物医学文本更长且更嘈杂，二者仍存在强烈重叠。
• 结果表明，当中间上下文不可用时，可作为SDP的可靠、低成本代理。