[論文レビュー] Pack Together: Entity and Relation Extraction with Levitated Marker.

Deming Ye, Yankai Lin+1 more|arXiv (Cornell University)|Sep 13, 2021

Topic Modeling参考文献 55被引用数 14

ひとこと要約

本稿では、事前学習エンコーダーにマーカーを戦略的にパックすることで、名前付きエンティティ抽出（NER）および関係抽出（RE）におけるスパン間の依存関係をモデル化する、新しいスパン表現手法であるPacked Levitated Markersを提案する。グループおよびサブジェクト指向のパッキング戦略を用いることで、フラットNERではF1スコアが0.4%-1.9%向上し、ACE04/ACE05では厳密な関係F1が3.5%-3.6%向上し、先行のSOTAモデルよりも高速な推論を達成した。

ABSTRACT

Named Entity Recognition (NER) and Relation Extraction (RE) are the core sub-tasks for information extraction. Many recent works formulate these two tasks as the span (pair) classification problem, and thus focus on investigating how to obtain a better span representation from the pre-trained encoder. However, a major limitation of existing works is that they ignore the dependencies between spans (pairs). In this work, we propose a novel span representation approach, named Packed Levitated Markers, to consider the dependencies between the spans (pairs) by strategically packing the markers in the encoder. In particular, we propose a group packing strategy to enable our model to process massive spans together to consider their dependencies with limited resources. Furthermore, for those more complicated span pair classification tasks, we design a subject-oriented packing strategy, which packs each subject and all its objects into an instance to model the dependencies between the same-subject span pairs. Our experiments show that our model with packed levitated markers outperforms the sequence labeling model by 0.4%-1.9% F1 on three flat NER tasks, beats the token concat model on six NER benchmarks, and obtains a 3.5%-3.6% strict relation F1 improvement with higher speed over previous SOTA models on ACE04 and ACE05. Code and models are publicly available at this https URL.

研究の動機と目的

• スパン表現学習中にスパン間の依存関係を無視する既存のNERおよびREモデルの限界を解決すること。
• 制限された計算リソース内での複数スパン（ペア）間の相互作用を効率的にモデル化することで、スパン表現を向上させること。
• 多数のスパンを効率的に処理しつつ依存関係モデリングを維持できるスケーラブルなパッキング機構を設計すること。
• サブジェクト指向の依存関係に焦点を当てることで、複雑なスパンペア分類タスクのパフォーマンスを向上させること。
• 従来の系列ラベル付けおよびトークン連結ベースラインと比較して、より高い精度と高速な推論を達成すること。

提案手法

• スパンやスパンペアを表す特別なトークン（levitated markers）を入力系列内に配置することで、モデルが複数のスパンを同時に注目し、推論できるようにする。
• 大規模なスパン数を一度にクラスタリング・処理するグループパッキング戦略を提案し、限られたメモリ内でスパン間依存関係をモデル化する。
• 各サブジェクトとその関連するすべてのオブジェクトを1つのインスタンスにグループ化するサブジェクト指向パッキング戦略を設計し、サブジェクト固有の依存関係をモデル化する。
• 事前学習エンコーダー（例：BERT）にパックされたマーカーを統合し、関連スパンの文脈的認識を伴ったスパン表現を共同で学習する。
• NERおよびREのための標準的なスパン分類ヘッドを用いて、マーカーをスパン境界に動的に配置しながら、エンドツーエンドでモデルを訓練する。
• 構造的なパッキングにより不要な計算を削減することで、長文系列の効率的処理を可能にする推論速度最適化。

実験結果

リサーチクエスチョン

• RQ1 独立したスパン分類と比較して、スパン間の依存関係をモデル化することで、共同NERおよびREタスクのパフォーマンスが向上するか？
• RQ2 計算コストが著しく増大するのを防ぎつつ、多数のスパン間の依存関係を効率的にモデル化する方法は何か？
• RQ3 一般的なグループ化と比較して、サブジェクト指向のスパンパッキングは関係抽出タスクでより優れたパフォーマンスをもたらすか？
• RQ4 提案されたマーカーパッキング戦略は、既存の手法よりも高速な推論速度を維持しながら最先端の結果を達成できるか？
• RQ5 本手法は、フラットおよびネストされたアノテーションスキームを含む、多様なNERおよびREベンチマークでどのように一般化するか？

主な発見

• 提案モデルは、3つのフラットNERベンチマークで、系列ラベル付けベースラインと比較して0.4%-1.9%高いF1スコアを達成した。
• 6つのNERベンチマークで、トークン連結モデルを上回り、優れたスパン表現学習を示した。
• ACE04およびACE05では、先行SOTAモデルと比較して、厳密な関係F1が3.5%-3.6%向上した。
• 先行SOTAアプローチよりも高い推論速度を維持しており、パッキング機構による効率性の向上を示している。
• サブジェクト指向パッキング戦略は、サブジェクト内依存関係をモデル化することで、複雑な関係抽出タスクにおけるパフォーマンスを顕著に向上させた。
• ネストされたおよびフラットなエンティティ構造を含む、多様なデータセットにおいても、本手法は良好な一般化性能を示した。