[論文レビュー] Universal Information Extraction as Unified Semantic Matching

Jie Lou, Yaojie Lu+6 more|arXiv (Cornell University)|Jan 9, 2023

Advanced Text Analysis Techniques被引用数 7

ひとこと要約

USMは universal information extraction を統一意味的マッチングとして再定義し、指向トークン連結を用いてスキーマとテキストを共同でモデリングし、最先端の結果と強力なゼロショット/少数ショット転移を実現します。

ABSTRACT

The challenge of information extraction (IE) lies in the diversity of label schemas and the heterogeneity of structures. Traditional methods require task-specific model design and rely heavily on expensive supervision, making them difficult to generalize to new schemas. In this paper, we decouple IE into two basic abilities, structuring and conceptualizing, which are shared by different tasks and schemas. Based on this paradigm, we propose to universally model various IE tasks with Unified Semantic Matching (USM) framework, which introduces three unified token linking operations to model the abilities of structuring and conceptualizing. In this way, USM can jointly encode schema and input text, uniformly extract substructures in parallel, and controllably decode target structures on demand. Empirical evaluation on 4 IE tasks shows that the proposed method achieves state-of-the-art performance under the supervised experiments and shows strong generalization ability in zero/few-shot transfer settings.

研究の動機と目的

• 情報抽出を構造化と概念化という2つのコア能力に分離し、多様なスキーマ間でのタスク横断転移を可能にする。
• 単一のフレームワークで複数のIEタスクを統一的にモデリングし、タスクとラベルスキーマ間で抽出能力を共有する。
• IEの転送性と一般化を高めるため、異種の監督信号を用いて普遍的基盤モデルを事前学習する。

提案手法

• ラベルスキーマをトークン列に verbalize し、トランスフォーマーエンコーダによって結合ラベル-テキスト埋め込みを計算する。
• 3つの統一的トークン連結操作：Token-Token Linking (TTL) は構造化サブ構造；Label-Token Linking (LTL) は utterance の概念化；Token-Label Linking (TLL) は概念化の組み合わせ。
• スキーマ制約デコーディングを用いて最終構造を組み立てつつ、出力時にはタイプをスキーマごとに分離する。
• USMを異種監督信号（タスク、距離、間接）で事前学習し、共通の構造化・概念化能力を学習させる。リンク信号の極端なスパース性を扱う特別な損失を用いる。
• エンドツーエンドの非自己回帰抽出で、サブ構造の並列デコードとターゲット構造のオンデマンド生成を可能にする。

Figure 1: The USM framework for UIE. USM takes label schema and text as input and directly outputs the target structure through the Structuring and Conceptualizing operations.

実験結果

リサーチクエスチョン

• RQ1 異種のラベルスキーマを持つIEタスクを、共通の構造化・概念化能力で uniform にモデル化できるか。
• RQ2 統一トークン連結は、ゼロショット/少数ショット設定を含む、タスク間およびスキーマ間の効果的な転移を可能にするか。
• RQ3 異種監督が普遍的な構造化・概念化能力の学習に与える影響は何か。
• RQ4 スキーマ制約デコーディングは、統一連結結果から最終IE構造を正確に組み立てるのにどう貢献するか。

主な発見

• USMは、エンティティ、リレーション、イベント、感情抽出を対象とした13データセットにおいて、 supervised/multi-task/zero-/few-shot 設定で最先端の結果を達成した。
• 異種の監督信号による事前学習は、タスク単独の事前学習より改善を示し、転移と一般化が強化される。
• 単一のマルチタスクUSMモデル（Unify）は、統一トークン連結で巨大なIEタスクを解決し、タスク固有SOTA手法を平均で上回る。
• ゼロショット転移はタイプ横断の能力を強く示し、USMはGPT-3やDeepStructなどのベースラインを特定設定で上回った。
• 少数ショットの結果は、USMがUIE-largeを平均性能で上回ることを示し、象徴表現よりも verballyized ラベルセマンティクスの利点を強調している。

Figure 2: The overall framework of Unified Semantic Matching.