[論文レビュー] Span-based Joint Entity and Relation Extraction with Transformer Pre-training

Markus Eberts, Adrian Ulges|arXiv (Cornell University)|Sep 17, 2019

Topic Modeling被引用数 27

ひとこと要約

SpERTは、軽量な推論、強力な文内ネガティブサンプリング、局所化された文脈表現を活用して効率的なフルスパン検索を可能にする、BERT埋め込みを用いたスパンベースの共同エンティティおよび関係抽出モデルである。複数のベンチマークで最先端の性能を達成し、先行手法よりも最大2.6%のF1スコアで優れている。

ABSTRACT

We introduce SpERT, an attention model for span-based joint entity and relation extraction. Our key contribution is a light-weight reasoning on BERT embeddings, which features entity recognition and filtering, as well as relation classification with a localized, marker-free context representation. The model is trained using strong within-sentence negative samples, which are efficiently extracted in a single BERT pass. These aspects facilitate a search over all spans in the sentence. In ablation studies, we demonstrate the benefits of pre-training, strong negative sampling and localized context. Our model outperforms prior work by up to 2.6% F1 score on several datasets for joint entity and relation extraction.

研究の動機と目的

• 重複するエンティティを処理する際の順序付きラベル付け（例：BIO/BILOU）の制限を克服するため、スパンベースのアプローチを提案する。
• BERTからの文脈表現を活用して、最小限の下流計算で共同エンティティおよび関係抽出を改善する。
• 軽量な推論と効果的なネガティブサンプリングを通じて、文内のすべてのスパンに対する効率的かつ包括的な検索を可能にする。
• 事前学習、ネガティブサンプリング戦略、文脈表現の影響がモデル性能に与える影響を調査する。
• 局所化された文脈を備えた単純な浅い分類器が、共同抽出タスクにおいてより複雑なアーキテクチャを上回ることを示す。

提案手法

• BERTを文脈エンコーダーとして用い、1回の順伝播で文脈的なトークン表現を生成する。
• 文内のすべての可能なスパンを全検索することで、候補となるエンティティを特定し、重複するエンティティの検出を可能にする。
• BERT埋め込みに対してスパンフィルタリングとエンティティ認識を軽量な分類器で行い、複雑な系列ラベル付けを回避する。
• 関係分類のため、エンティティペア間の局所化された文脈表現を用いる。これにより、文全体の文脈を除く。
• トレーニング中に同じ文から強力なネガティブサンプルを抽出し、1回のBERTパスで効率的に生成する。
• エンティティおよび関係予測の両方に対して、単純で浅い分類器を用いることで、アーキテクチャの複雑さを最小限に抑えつつ、パフォーマンスを最大化する。

実験結果

リサーチクエスチョン

• RQ1 BERT事前学習を用いたスパンベースのアプローチは、系列ラベル付けベースの手法を上回る性能を示せるか？
• RQ2 他のサンプリング戦略と比較して、文内ネガティブサンプリングはモデルの汎化性能を向上させるのにどの程度効果的か？
• RQ3 エンティティペア間の局所化された文脈表現は、特に長い文において関係分類を向上させるか？
• RQ4 事前学習による性能向上は、初期化から学習を開始する場合と比較してどの程度顕著か？
• RQ5 スパンベースの共同抽出における主な誤りパターンは何か。それらはモデルの信頼性にどのように影響するか？

主な発見

• SpERTは複数の共同エンティティおよび関係抽出ベンチマークで最先端の性能を達成し、先行手法よりも最大2.6%のF1スコアで優れている。
• 同じ文から抽出された強力なネガティブサンプルの使用は、モデル性能を顕著に向上させ、1回のBERTパスでの効率的なトレーニングを可能にする。
• エンティティペア間の局所化された文脈表現は、文全体の文脈よりも精度が高く、特に長い文において顕著に優れている。
• 大規模コーパスでの事前学習 followed by ファインチューニングは顕著な性能向上をもたらし、文脈表現の重要性を示している。
• モデルは重複するエンティティ（例：「リチウム毒性」と「アテオフィリン中毒」）を効果的に特定できており、BIO/BILOUベースのモデルが困難とするタスクを成功裏に処理している。
• 一般的な誤りタイプには、誤ったスパン予測、文法的類似性による偽陽性、明示的に述べられていない論理的推論、および正例アノテーションの欠落がある。