[论文解读] Deep Neural Network Based Relation Extraction: An Overview

Hailin Wang, Ke Qin+3 more|arXiv (Cornell University)|Jan 6, 2021

Topic Modeling参考文献 80被引用 11

一句话总结

本文对基于深度神经网络（DNN）的关系抽取（RE）进行了全面综述，涵盖监督学习与远程监督方法。综述了用于句子表征与特征提取的DNN架构，如卷积神经网络（CNNs）、循环神经网络（RNNs）和图神经网络（GNNs），并讨论了噪声问题、词汇外关系及跨句推理等挑战，提出了迁移学习、关系推理和统一关系框架等未来研究方向。

ABSTRACT

Knowledge is a formal way of understanding the world, providing a human-level cognition and intelligence for the next-generation artificial intelligence (AI). One of the representations of knowledge is semantic relations between entities. An effective way to automatically acquire this important knowledge, called Relation Extraction (RE), a sub-task of information extraction, plays a vital role in Natural Language Processing (NLP). Its purpose is to identify semantic relations between entities from natural language text. To date, there are several studies for RE in previous works, which have documented these techniques based on Deep Neural Networks (DNNs) become a prevailing technique in this research. Especially, the supervised and distant supervision methods based on DNNs are the most popular and reliable solutions for RE. This article 1) introduces some general concepts, and further 2) gives a comprehensive overview of DNNs in RE from two points of view: supervised RE, which attempts to improve the standard RE systems, and distant supervision RE, which adopts DNNs to design sentence encoder and de-noise method. We further 3) cover some novel methods and recent trends as well as discuss possible future research directions for this task.

研究动机与目标

• 提供基于深度神经网络的关系抽取（RE）技术的系统性且最新的概述。
• 从性能、可扩展性及跨领域适用性等方面，比较监督学习与远程监督方法。
• 识别当前RE系统中的关键挑战，包括远程监督中的噪声、领域适应性有限以及缺乏跨句推理能力。
• 探索未来研究方向，如迁移学习、关系推理和统一关系框架，以提升模型泛化能力。
• 解决现有RE模型在处理动态知识库和词汇外关系方面的局限性。

提出的方法

• 将基于DNN的关系抽取分为两大范式：监督学习与远程监督，二者具有不同的数据生成与训练策略。
• 回顾用于关系抽取中句子表征与特征提取的关键神经网络架构——卷积神经网络（CNNs）、循环神经网络（RNNs）、长短期记忆网络（LSTMs）、门控循环单元（GRUs）和图神经网络（GNNs）。
• 分析词嵌入与位置嵌入在捕捉实体对周围句法与结构信息中的作用。
• 分析远程监督中句法编码器设计与去噪技术，以减少由自动知识库对齐带来的标签噪声。
• 评估外部知识（如知识图谱、实体描述）的整合，以增强关系抽取中的推理能力与泛化性能。
• 提出一种用于跨句关系抽取的框架，以解决当前系统在句内建模方面的局限性。

Figure 1: The General Framework of DNN-based RE.

实验结果

研究问题

• RQ1 在基于DNN的关系抽取中，监督学习与远程监督方法在性能、可扩展性及噪声处理方面有何差异？
• RQ2 哪些关键架构组件与嵌入策略能有效提升关系抽取任务中的句子表征能力？
• RQ3 如何利用基于DNN的去噪技术有效缓解远程监督中的噪声问题？
• RQ4 迁移学习与外部知识在提升关系抽取模型的领域适应性与泛化能力方面发挥何种作用？
• RQ5 如何有效建模跨句关系抽取，以捕捉单句之外的长距离依赖关系？

主要发现

• 监督方法在小规模、高质量数据集上表现更高准确率，但受限于标注成本与领域特异性。
• 远程监督可实现大规模训练且人工标注极少，但因自动知识库对齐导致噪声水平较高。
• 图神经网络（GNNs）与注意力机制模型在捕捉句法与依存结构方面表现优异，适用于关系分类。
• 使用位置嵌入可显著提升性能，因其能有效编码句子中实体的相对位置信息。
• 当前模型在处理词汇外关系方面表现不佳，原因在于不同数据集间关系词表不一致。
• 跨句关系抽取仍研究不足，但近期方法在利用文档级上下文提升关系检测性能方面展现出潜力。

Figure 2: Example of relative distance.