[论文解读] Combining Neural Networks and Log-linear Models to Improve Relation Extraction

Thien Huu Nguyen, Ralph Grishman|arXiv (Cornell University)|Nov 18, 2015

Topic Modeling参考文献 34被引用 81

一句话总结

本文提出了一种混合模型，结合卷积神经网络（CNNs）、循环神经网络（RNNs）和对数线性模型，以提升关系抽取性能。通过利用CNNs进行局部k-gram模式识别，以及使用双向RNNs进行长距离上下文编码，该方法通过三种组件的简单多数投票，在ACE 2005和SemEval数据集上实现了最先进性能。

ABSTRACT

The last decade has witnessed the success of the traditional feature-based method on exploiting the discrete structures such as words or lexical patterns to extract relations from text. Recently, convolutional and recurrent neural networks has provided very effective mechanisms to capture the hidden structures within sentences via continuous representations, thereby significantly advancing the performance of relation extraction. The advantage of convolutional neural networks is their capacity to generalize the consecutive k-grams in the sentences while recurrent neural networks are effective to encode long ranges of sentence context. This paper proposes to combine the traditional feature-based method, the convolutional and recurrent neural networks to simultaneously benefit from their advantages. Our systematic evaluation of different network architectures and combination methods demonstrates the effectiveness of this approach and results in the state-of-the-art performance on the ACE 2005 and SemEval dataset.

研究动机与目标

• 通过整合传统特征模型、CNNs和RNNs的优势，提升关系抽取性能。
• 系统评估RNN架构在关系抽取中的表现，因其最优设计仍缺乏充分探索。
• 研究CNNs、RNNs和对数线性模型在关系抽取背景下有效组合策略。
• 在ACE 2005和SemEval等基准数据集上实现最先进结果。

提出的方法

• 输入句子通过词嵌入、指向实体提及的距离嵌入以及实体类型和词块嵌入进行表示。
• 使用两种句子表示方式：标准序列（SEQ）和基于依存路径（DEP）的方式，以捕捉句法结构。
• 采用双向RNN（BIDIRECT）编码长距离依赖关系，同时CNNs捕捉局部k-gram模式。
• 对数线性模型使用人工设计的特征，如词汇模式、句法结构和名录信息。
• 最终预测通过CNN、RNN和对数线性模型输出的多数投票方式生成。
• 使用距离和位置嵌入，使网络能够了解实体提及之间的相对位置。

实验结果

研究问题

• RQ1 在关系抽取背景下，不同RNN架构的表现如何？
• RQ2 结合CNNs、RNNs和对数线性模型能否提升关系抽取性能？
• RQ3 组合方法中，早期融合、晚期融合还是投票方式能取得最佳结果？
• RQ4 每种模型（CNN、RNN、对数线性）最擅长捕捉何种关系模式？
• RQ5 为何CNN与RNN的组合优于单一模型？

主要发现

• 通过多数投票结合CNN、RNN和对数线性模型，在ACE 2005和SemEval数据集上均实现了最先进F1分数。
• 在ACE 2005开发集上，组合模型的F1得分为64.2，优于单独的CNN（63.4）和RNN（60.0）模型。
• BIDIRECT RNN模型在PHYS关系上的召回率（50.9）高于CNN（34.7），表明其对长距离依赖关系的捕捉能力更强。
• CNN模型在ART、ORG-AFF和GEN-AFF关系上优于RNN，因其能有效检测短而表达性强的局部模式。
• CNN和RNN的失败模式具有互补性：CNN在长距离模式上表现不佳，而RNN在短模式中受噪声上下文影响较大。
• 多数投票有效弥补了各模型的个体缺陷，表明集成方法可显著提升关系抽取中的泛化能力。