[論文レビュー] Unified Structure Generation for Universal Information Extraction

Yaojie Lu, Qing Liu+6 more|arXiv (Cornell University)|Mar 23, 2022

Advanced Text Analysis Techniques被引用数 9

ひとこと要約

本稿では、エンティティ、関係、イベント、センチメント抽出などの多様な情報抽出（IE）タスクを1つのアーキテクチャでモデル化する統合的テキストから構造への生成フレームワークであるUIEを提案する。構造的抽出言語とスキーマベースのプロンプト機構（構造的スキーマインストラクタ）を用いることで、UIEはタスク固有の出力を適応的に生成し、教師あり、少サンプル、低リソース設定の13のデータセットにおいて最先端の性能を達成し、強力な汎化性と転移性を示した。

ABSTRACT

Information extraction suffers from its varying targets, heterogeneous structures, and demand-specific schemas. In this paper, we propose a unified text-to-structure generation framework, namely UIE, which can universally model different IE tasks, adaptively generate targeted structures, and collaboratively learn general IE abilities from different knowledge sources. Specifically, UIE uniformly encodes different extraction structures via a structured extraction language, adaptively generates target extractions via a schema-based prompt mechanism - structural schema instructor, and captures the common IE abilities via a large-scale pre-trained text-to-structure model. Experiments show that UIE achieved the state-of-the-art performance on 4 IE tasks, 13 datasets, and on all supervised, low-resource, and few-shot settings for a wide range of entity, relation, event and sentiment extraction tasks and their unification. These results verified the effectiveness, universality, and transferability of UIE.

研究の動機と目的

• 知識共有やクロスドメイン適応を妨げるタスク特化型モデルの課題に対処すること。
• エンティティ、関係、イベント、センチメントの多様なIEタスクを、1つの汎用的で一般化可能なフレームワークに統合すること。
• スキーマに配慮したプロンプトによって、異種の抽出構造の生成を適応的に制御すること。
• さまざまなタスクやデータソースに共通するIE能力を捉える大規模なテキストから構造へのモデルを事前学習すること。
• 効果的な転移学習を通じて、低リソースおよび少サンプル設定での性能を向上させること。

提案手法

• エンティティのスパン、三つ組、レコードなどの多様なIE構造を一貫した形式で一様に表現するための構造的抽出言語（SEL）を提案する。
• UIEにおける抽出の対象、関連付け、生成を制御する、スキーマベースのプロンプト機構（構造的スキーマインストラクタ：SSI）を導入する。
• 異種のウェブソースデータセット上で事前学習された大規模なテキストから構造へのモデルを用い、汎用的なIE能力を学習する。
• 入力が生テキストで出力がSEL形式の構造的抽出である、系列から系列への生成フレームワークを採用する。
• 最小限のラベル付きデータで新しいタスクに適応できるよう、少サンプルおよびゼロショットプロンプト戦略を適用する。
• 最小限のアーキテクチャ変更で、下流のIEタスクに事前学習モデルを微調整するための転移学習を活用する。

実験結果

リサーチクエスチョン

• RQ1 異種の出力構造を持つ多様な情報抽出タスクを、1つの統合的アーキテクチャで効果的にモデル化できるか？
• RQ2 アーキテクチャの再トレーニングなしに、スキーマベースのプロンプト機構がタスク固有の構造の生成を動的に制御できるか？
• RQ3 大規模かつ異種のデータで事前学習することで、情報抽出における汎化性および少サンプル適応性が向上するか？
• RQ4 教師あり、低リソース、少サンプル設定において、統合フレームワークはタスク特化型モデルと比較してどの程度の性能を発揮するか？
• RQ5 エンティティ、関係、イベント、センチメント抽出タスク間で、共有されるIE能力をどの程度学習・転送できるか？

主な発見

• UIEは、エンティティ、関係、イベント、センチメント抽出の4つの主要なIEタスクにおいて、13のデータセットで最先端の性能を達成した。
• 教師あり設定では、最良のタスク特化型ベースラインよりも平均でF1スコアが1.42%向上した。
• 少サンプルおよび低リソース設定では、ベースラインを著しく上回り、即時の適応性と高い転移性を示した。
• 事前学習済みのUIEモデルは、共有されるIE能力を効果的に捉えており、最小限のラベル付きデータで新しいタスクへの迅速な適応が可能だった。
• 構造的スキーマインストラクタ機構により、タスクスキーマに基づいて、何を抽出し、どのように構造化するかを正確かつ動的に制御できた。
• 統合フレームワークにより、タスク固有のアーキテクチャや隔離されたモデルの必要性が低減され、IEタスク間での知識共有が可能になった。