[论文解读] DeepKE: A Deep Learning Based Knowledge Extraction Toolkit for Knowledge Base Population

Ningyu Zhang, Xin Xu+20 more|arXiv (Cornell University)|Jan 10, 2022

Topic Modeling被引用 5

一句话总结

DeepKE 是一个开源、可扩展的深度学习工具包，用于知识库构建，支持在低资源、文档级和多模态场景下的命名实体识别、关系抽取和属性抽取。它提供了一个统一的模块化框架，集成预训练模型、自动超参数调优和实时推理，相较于现有基线方法，在 few-shot 和多模态设置下实现了最先进性能。

ABSTRACT

We present an open-source and extensible knowledge extraction toolkit DeepKE, supporting complicated low-resource, document-level and multimodal scenarios in the knowledge base population. DeepKE implements various information extraction tasks, including named entity recognition, relation extraction and attribute extraction. With a unified framework, DeepKE allows developers and researchers to customize datasets and models to extract information from unstructured data according to their requirements. Specifically, DeepKE not only provides various functional modules and model implementation for different tasks and scenarios but also organizes all components by consistent frameworks to maintain sufficient modularity and extensibility. We release the source code at GitHub in https://github.com/zjunlp/DeepKE with Google Colab tutorials and comprehensive documents for beginners. Besides, we present an online system in http://deepke.openkg.cn/EN/re_doc_show.html for real-time extraction of various tasks, and a demo video.

研究动机与目标

• 解决现有信息抽取工具包仅支持单一任务且在复杂真实场景（如低资源、文档级和多模态设置）下表现不佳的局限性。
• 开发一个统一且可扩展的框架，使研究人员和开发者能够无需大量底层编码即可自定义数据集和模型，以应对多样化的知识抽取任务。
• 通过 few-shot 学习方法（如 KnowPrompt 和基于原型的 NER）提升低资源场景下的性能，通过视觉-语言融合在多模态设置中实现性能增强。
• 提供全面的工具支持，包括 Google Colab 教程、文档和在线实时抽取系统，降低新用户的使用门槛。
• 通过社区反馈持续提供主动支持、错误修复和功能扩展，确保长期可维护性。

提出的方法

• DeepKE 采用统一框架进行数据处理、模型训练和评估，实现各类自然语言处理任务与场景的无缝集成。
• 它利用预训练语言模型（如 BERT、RoBERTa）作为编码器，用于命名实体识别、关系抽取和属性抽取任务中的序列编码。
• 在 few-shot 学习中，实现 KnowPrompt——一种结合知识注入的提示调优方法，并与基于原型和基于样例的基线方法进行对比。
• 在文档级关系抽取中，使用上下文感知编码器（如 BERT、RoBERTa），并在大规模数据集（如 DocRED）上支持句子内和句子间的关系推理。
• 在多模态抽取中，集成视觉和文本编码器（如 ViLBERT、UMT），联合处理图像和文本，提升在 Twitter-2017 和 MNRE 数据集上的性能。
• 该工具包支持自动超参数调优和模块化设计，允许用户以极少代码量插入自定义模型和数据集。

实验结果

研究问题

• RQ1 统一的深度学习工具包能否有效支持多种知识抽取任务——包括命名实体识别、关系抽取和属性抽取——在多样化且复杂的现实场景中？
• RQ2 在低资源 few-shot 设置下，DeepKE 在命名实体识别和关系抽取任务中的性能与最先进方法相比如何？
• RQ3 DeepKE 在文档级知识抽取任务中，对长距离依赖和句子间关系的捕捉能力如何？
• RQ4 与单模态方法相比，文本与图像输入的多模态融合是否能提升命名实体识别和关系抽取的准确性？
• RQ5 该统一框架在多大程度上能实现研究人员和开发者的快速自定义、超参数调优和部署？

主要发现

• 在 few-shot 命名实体识别中，DeepKE 搭载 KnowPrompt 在 8-shot 设置下取得 74.3 的 F1 分数，优于基线方法 PTR（70.5）和 GDPNet（42.0）。
• 在 SemEval-2010 任务-8 的 few-shot 关系抽取中，DeepKE（KnowPrompt）在 32-shot 设置下取得 84.8 的 F1 分数，超过 PTR（84.2）和 GDPNet（81.2）。
• 在 DocRED 的文档级关系抽取中，DeepKE 搭载 RoBERTa-large 的性能与 SOTA 模型（如 Coref 和 ATLOP）相当或更优。
• 在 Twitter-2017 的多模态命名实体识别中，DeepKE 表现优于基线方法 AdapCoAtt-BERT-CRF、ViLBERT 和 UMT。
• 在 MNRE 的多模态关系抽取中，DeepKE 超过 BERT+SG、BERT+SG+Att 和 MEGA，展现出在视觉-语言推理中的强大泛化能力。
• 托管于 http://deepke.zjukg.cn/ 的在线系统支持无需微调模型即可使用预定义模式进行实时抽取，显著提升了终端用户的可用性。