[論文レビュー] DeepKE: A Deep Learning Based Knowledge Extraction Toolkit for Knowledge Base Population

Ningyu Zhang, Xin Xu+20 more|arXiv (Cornell University)|Jan 10, 2022

Topic Modeling被引用数 5

ひとこと要約

DeepKE は、低リソース、ドキュメントレベル、マルチモーダルな状況を含む、知識ベースの構築を支援するオープンソースで拡張可能なディープラーニングツールキットである。命名エンティティ認識、関係抽出、属性抽出をサポートし、事前学習モデル、自動ハイパラメータチューニング、リアルタイム推論を備えた統合的でモジュラーなフレームワークを提供し、既存のベースラインと比較して、少数の例学習およびマルチモーダルな設定で最先端の性能を達成している。

ABSTRACT

We present an open-source and extensible knowledge extraction toolkit DeepKE, supporting complicated low-resource, document-level and multimodal scenarios in the knowledge base population. DeepKE implements various information extraction tasks, including named entity recognition, relation extraction and attribute extraction. With a unified framework, DeepKE allows developers and researchers to customize datasets and models to extract information from unstructured data according to their requirements. Specifically, DeepKE not only provides various functional modules and model implementation for different tasks and scenarios but also organizes all components by consistent frameworks to maintain sufficient modularity and extensibility. We release the source code at GitHub in https://github.com/zjunlp/DeepKE with Google Colab tutorials and comprehensive documents for beginners. Besides, we present an online system in http://deepke.openkg.cn/EN/re_doc_show.html for real-time extraction of various tasks, and a demo video.

研究の動機と目的

• 既存の情報抽出ツールキットが単一のタスクに限定されており、低リソース、ドキュメントレベル、マルチモーダルなような複雑な現実世界のシナリオで困難を抱えるという限界を解消すること。
• 研究者や開発者が、多数の低レベルのコーディングを必要とせずに、多様な知識抽出タスク向けにデータセットやモデルをカスタマイズできる、統合的かつ拡張可能なフレームワークの開発。
• KnowPrompt やプロトタイプベースの NER といった少数の例学習手法を活用して、低リソース状況での性能を向上させるとともに、視覚言語統合によるマルチモーダルな設定での性能向上を図ること。
• Google Colab のチュートリアル、ドキュメンテーション、オンラインリアルタイム抽出システムを含む包括的なツールキットを提供し、新規ユーザーの導入障壁を低減すること。
• コミュニティからのフィードバックに基づく積極的なサポート、バグ修正、機能拡張を通じて、長期的な保守性を確保すること。

提案手法

• DeepKE は、データ処理、モデル学習、評価を統合したフレームワークを採用しており、さまざまな自然言語処理タスクとシナリオの間でスムーズに統合できる。
• NER、RE、属性抽出タスクにおいて、シーケンスレベルの符号化に事前学習済み言語モデル（例：BERT、RoBERTa）をエンコーダーとして活用している。
• 少数の例学習では、知識統合を伴うプロンプトチューニング手法である KnowPrompt を実装し、プロトタイプベースおよび例ベースのベースラインと比較している。
• ドキュメントレベルの関係抽出では、文脈に配慮したエンコーダー（例：BERT、RoBERTa）を用い、大規模データセット（例：DocRED）上で文内および文間の関係推論をサポートしている。
• マルチモーダル抽出では、視覚とテキストエンコーダー（例：ViLBERT、UMT）を統合し、画像とテキストを同時に処理することで、Twitter-2017 および MNRE データセットでの性能を向上させている。
• 自動ハイパラメータチューニングとモジュラー設計をサポートしており、ユーザーは最小限のコードでカスタムモデルやデータセットを統合できる。

実験結果

リサーチクエスチョン

• RQ1 統合的ディープラーニングツールキットは、多様で複雑な現実世界のシナリオにおいて、命名エンティティ認識、関係抽出、属性抽出といった複数の知識抽出タスクを効果的にサポートできるか？
• RQ2 NER および関係抽出の両タスクにおいて、低リソースの少数の例学習設定で、DeepKE の性能は最先端の手法と比べてどのように差がつくか？
• RQ3 ドキュメントレベルの知識抽出タスクにおいて、DeepKE は長距離依存関係や文間関係をどの程度正しく捉えることができるか？
• RQ4 テキストと画像のマルチモーダル統合は、単一モーダルなアプローチと比較して、命名エンティティ認識および関係抽出の精度を向上させることができるか？
• RQ5 統合フレームワークは、研究者や開発者が迅速にカスタマイズ、ハイパラメータチューニング、デプロイメントを実施できるようにするのにどの程度効果的か？

主な発見

• 少数の例 NER において、KnowPrompt を用いた DeepKE は 8 ショット設定で F1 スコア 74.3 を達成し、PTR（70.5）や GDPNet（42.0）といったベースラインを上回った。
• SemEval-2010 タスク8 の少数の例関係抽出において、DeepKE（KnowPrompt）は 32 ショット設定で F1 スコア 84.8 を達成し、PTR（84.2）や GDPNet（81.2）を上回った。
• DocRED におけるドキュメントレベルの関係抽出では、RoBERTa-large を用いた DeepKE が、Coref や ATLOP といった最先端モデルと同等またはそれ以上の性能を示した。
• Twitter-2017 におけるマルチモーダル NER では、AdapCoAtt-BERT-CRF や ViLBERT、UMT といったベースラインと比較して、DeepKE がより優れた性能を示した。
• MNRE におけるマルチモーダル関係抽出では、BERT+SG、BERT+SG+Att、MEGA よりも DeepKE が優れており、視覚言語推論における優れた一般化性能を示した。
• http://deepke.zjukg.cn/ にホスティングされたオンラインシステムは、モデルの微調整なしに事前定義されたスキーマを用いてリアルタイム抽出を可能にし、エンドユーザーの使いやすさを向上させた。