[논문 리뷰] DeepKE: A Deep Learning Based Knowledge Extraction Toolkit for Knowledge Base Population

Ningyu Zhang, Xin Xu외 20명|arXiv (Cornell University)|2022. 01. 10.

Topic Modeling인용 수 5

한 줄 요약

DeepKE는 저자원, 문서 수준, 다중모odal 환경에서의 명명된 엔티티 인식, 관계 추출, 속성 추출을 지원하는 오픈소스로 확장 가능한 딥러닝 툴킷이다. 사전 학습 모델, 자동 하이퍼파라미터 튜닝, 실시간 추론을 제공하는 통합 모듈식 프레임워크를 통해 기존 기준 대비 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present an open-source and extensible knowledge extraction toolkit DeepKE, supporting complicated low-resource, document-level and multimodal scenarios in the knowledge base population. DeepKE implements various information extraction tasks, including named entity recognition, relation extraction and attribute extraction. With a unified framework, DeepKE allows developers and researchers to customize datasets and models to extract information from unstructured data according to their requirements. Specifically, DeepKE not only provides various functional modules and model implementation for different tasks and scenarios but also organizes all components by consistent frameworks to maintain sufficient modularity and extensibility. We release the source code at GitHub in https://github.com/zjunlp/DeepKE with Google Colab tutorials and comprehensive documents for beginners. Besides, we present an online system in http://deepke.openkg.cn/EN/re_doc_show.html for real-time extraction of various tasks, and a demo video.

연구 동기 및 목표

• 기존 정보 추출 툴킷이 단일 작업만 지원하고 저자원, 문서 수준, 다중모달 환경과 같은 복잡한 실제 환경에서 어려움을 겪는 점을 해결하기 위해.
• 연구자와 개발자가 저수준 프로그래밍 없이 다양한 지식 추출 작업을 위해 데이터셋과 모델을 맞춤화할 수 있도록 통합적이고 확장 가능한 프레임워크를 개발하기 위해.
• KnowPrompt와 프로토타입 기반 NER와 같은 소수의 샘플 학습 방법을 통해 저자원 환경에서의 성능을 향상시키고, 시각-언어 통합을 통해 다중모달 환경에서의 성능을 향상시키기 위해.
• Google Colab 튜토리얼, 문서화, 온라인 실시간 추출 시스템을 포함한 포괄적인 도구를 제공하여 신규 사용자의 진입 장벽을 낮추기 위해.
• 커뮤니티 피드백 기반으로 활발한 지원, 버그 수정, 기능 확장이 이루어져 장기적인 유지보수를 보장하기 위해.

제안 방법

• DeepKE는 데이터 처리, 모델 훈련, 평가를 위한 통합 프레임워크를 활용하여 다양한 자연어 처리 작업과 환경 간의 원활한 통합을 가능하게 한다.
• NER, RE, 속성 추출 작업에서 시퀀스 수준 인코딩을 위해 사전 학습된 언어 모델(예: BERT, RoBERTa)을 인코더로 활용한다.
• 소수의 샘플 학습을 위해 KnowPrompt—지식 주입 기반의 프롬프트 튜닝 방법—를 구현하고 프로토타입 기반 및 예시 기반 기준과 비교한다.
• 문서 수준의 관계 추출에서는 맥락 인식 인코더(예: BERT, RoBERTa)를 사용하며, 대규모 데이터셋인 DocRED에서 문장 내 및 문장 간 관계 추론을 지원한다.
• 다중모달 추출에서는 시각 및 텍스트 인코더(예: ViLBERT, UMT)를 통합하여 이미지와 텍스트를 함께 처리하고, Twitter-2017 및 MNRE 데이터셋에서 성능을 향상시킨다.
• 툴킷은 자동 하이퍼파라미터 튜닝과 모듈식 설계를 지원하여 사용자가 최소한의 코드로 커스텀 모델과 데이터셋을 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 통합된 딥러닝 툴킷이 저자원, 문서 수준, 다중모달 등 다양한 복잡한 실제 환경에서 명명된 엔티티 인식, 관계 추출, 속성 추출과 같은 다양한 지식 추출 작업을 효과적으로 지원할 수 있는가?
• RQ2 NER 및 관계 추출의 소수의 샘플 설정에서 DeepKE의 성능이 최신 기술 수준의 방법과 비교해 어떻게 되는가?
• RQ3 문서 수준의 지식 추출 작업에서 DeepKE는 장거리 의존성과 문장 간 관계를 얼마나 잘 포착할 수 있는가?
• RQ4 텍스트와 이미지 입력의 다중모달 통합이 단일모달 접근 방식에 비해 명명된 엔티티 인식 및 관계 추출의 정확도를 향상시킬 수 있는가?
• RQ5 연구자와 개발자가 빠른 맞춤화, 하이퍼파라미터 튜닝, 배포를 가능하게 하는 통합 프레임워크의 효과는 어떠한가?

주요 결과

• 소수의 샘플 NER에서 DeepKE는 KnowPrompt를 사용해 8샷 설정에서 F1 스코어 74.3을 기록했으며, PTR(70.5) 및 GDPNet(42.0)와 같은 기준 모델을 초월했다.
• SemEval-2010 Task-8의 소수의 샘플 관계 추출에서 DeepKE(KnowPrompt)는 32샷 설정에서 F1 84.8을 기록했으며, PTR(84.2) 및 GDPNet(81.2)를 능가했다.
• DocRED에서의 문서 수준 관계 추출에서 DeepKE는 RoBERTa-large를 사용해 Coref 및 ATLOP와 같은 최신 기술 수준 모델과 비교해 유사하거나 더 뛰어난 성능을 보였다.
• Twitter-2017에서의 다중모달 NER에서 DeepKE는 AdapCoAtt-BERT-CRF, ViLBERT, UMT와 같은 기준 모델보다 향상된 성능을 보였다.
• MNRE에서의 다중모달 관계 추출에서 DeepKE는 BERT+SG, BERT+SG+Att, MEGA를 능가했으며, 시각-언어 추론에서 강력한 일반화 능력을 보였다.
• http://deepke.zjukg.cn/에 호스팅된 온라인 시스템은 모델 미세조정 없이 사전 정의된 스키마를 사용해 실시간 추출을 가능하게 하여 최종 사용자에게 사용성 향상을 제공한다.