[論文レビュー] OpenNRE: An Open and Extensible Toolkit for Neural Relation Extraction

Xu Han, Tianyu Gao+4 more|ArXiv.org|Sep 28, 2019

Topic Modeling参考文献 26被引用数 7

ひとこと要約

OpenNRE は、TensorFlow と PyTorch に基づいて構築されたオープンソースで拡張可能なツールキットであり、文単位、バッグ単位、少数-shot NRE などの複数の設定において、ニューラル関係抽出（NRE）モデルのトレーニング、検証、デプロイを統一されたフレームワークで提供する。エンドツーエンドのパイプラインタスク（NER やエンティティリンクなど）をサポートし、Wikidata に整合した事実抽出をリアルタイムで行うオンラインシステムを備え、SemEval-2010 や NYT10、FewRel といったベンチマークデータセットにおいて、元のモデルと同等またはそれ以上のパフォーマンスを達成している。

ABSTRACT

OpenNRE is an open-source and extensible toolkit that provides a unified framework to implement neural models for relation extraction (RE). Specifically, by implementing typical RE methods, OpenNRE not only allows developers to train custom models to extract structured relational facts from the plain text but also supports quick model validation for researchers. Besides, OpenNRE provides various functional RE modules based on both TensorFlow and PyTorch to maintain sufficient modularity and extensibility, making it becomes easy to incorporate new models into the framework. Besides the toolkit, we also release an online system to meet real-time extraction without any training and deploying. Meanwhile, the online system can extract facts in various scenarios as well as aligning the extracted facts to Wikidata, which may benefit various downstream knowledge-driven applications (e.g., information retrieval and question answering). More details of the toolkit and online system can be obtained from http://github.com/thunlp/OpenNRE.

研究の動機と目的

• 教師あり学習、弱教師あり学習、少数-shot 学習などの多様なパラダイムをカバーする、統一的で拡張可能かつ効率的な NRE モデルのトレーニングおよび評価のためのツールキットが不足しているという問題に対処すること。
• 研究者や開発者が、長大な結合コードを書かずに、カスタム NRE モデルの実装、トレーニング、検証を容易にできるようにすること。
• Wikidata エンティティの整合性を保ったリアルタイムでゼロトレーニングの関係抽出を実現する生産環境向けのオンラインシステムを提供すること。
• TensorFlow と PyTorch の両方をサポートすることで、将来的な拡張性とモジュラリティを維持し、新しいモデルのプラグイン統合を可能にすること。
• 名前付きエンティティ認識（NER）とエンティティリンク（EL）モジュールを統合することで、エンドツーエンドの知識マイニングパイプラインを支援すること。

提案手法

• このツールキットは、文単位、バッグ単位、少数-shot 関係抽出タスクの全般にわたって、データ処理、モデルトレーニング、評価の統一されたフレームワークを提供する。
• CNNベース、BERTベース、プロトタイプネットワークを含む複数の NRE モデルを実装しており、エンティティマーカーと [CLS] またはスパンベースの出力表現をサポートしている。
• 2つのディープラーニングバックボーンをサポートしている：単語および位置埋め込みを用いた CNN、およびエンティティマーカーを用いて微調整された BERT による文脈表現の向上。
• 弱教師あり学習では、インスタンスレベルの注目メカニズムを用いた注目ベース、敵対的、強化学習ベースのモデルを実装している。
• 事前に学習済みモデルを用いたオンラインシステムをデプロイしており、リアルタイムの抽出と TagMe を介した Wikidata へのエンティティの整合化を可能にしている。
• このツールキットはモジュラで拡張可能であり、開発者が最小限のコード変更で新しいモデルを統合できる。GitHub を用いたメンテナンスにより、長期的サポートが保証されている。

実験結果

リサーチクエスチョン

• RQ1 複数の学習パラダイム（教師あり、弱教師あり、少数-shot 学習など）にまたがる多様な NRE モデルの実装、トレーニング、評価を簡素化する統一的でオープンソースのツールキットを構築可能か？
• RQ2 OpenNRE は、SemEval-2010 や NYT10、FewRel といった標準ベンチマークで、元のモデルと同等またはそれ以上のパフォーマンスを達成できるか？
• RQ3 OpenNRE パイプライン内での NER およびエンティティリンクモジュールの統合は、エンドツーエンドの知識マイニングにおいてどの程度有効か？
• RQ4 Wikidata 整合性を保ったリアルタイムでゼロトレーニングのオンラインシステムを OpenNRE を用いて効果的にデプロイ可能か？
• RQ5 OpenNRE は、将来的なモデル統合および長期的メンテナンスを考慮した拡張性とモジュラリティをどの程度サポートしているか？

主な発見

• OpenNRE における BERT ベースのモデルは、SemEval-2010 タスク8で最先端のパフォーマンスを達成し、テスト F1 スコアが 88.4 にのぼり、CNN ベースラインを上回った。
• Wiki80 少数-shot ベンチマークにおいて、BERT-PAIR モデルは 5-way 1-shot 条件下で F1 スコア 93.2 を達成し、元の結果の 92.8 を上回った。
• NYT10 における CNN-ATT、CNN-ADV、CNN-RL モデルは、それぞれ AUC スコア 0.333、0.337、0.276 を達成し、Lin ら（2016）および Feng ら（2018）の元の結果と同等またはそれを上回った。
• BERT を用いたプロトタイプネットワークの OpenNRE 実装は、5-way 1-shot 条件下で F1 スコア 89.6 を達成し、Han ら（2018c）が報告した元の結果の 88.4 を上回った。
• オンラインシステムにより、高速な推論とシームレスな Wikidata 整合性を備えたリアルタイム関係抽出が可能となり、モデルの再トレーニングなしにデプロイが可能である。
• このツールキットは、新しいモデルの効率的統合とコミュニティ貢献による長期的メンテナンスを可能にする、強力な拡張性とモジュラリティを示している。