[論文レビュー] A Span-Based Model for Joint Overlapped and Discontinuous Named Entity Recognition

Fei Li, Zhichao Lin+2 more|arXiv (Cornell University)|Jun 28, 2021

Topic Modeling参考文献 58被引用数 5

ひとこと要約

本論文は、BERTとエンティティ断片間の関係分類を用いて、重複および不連続名前付きエンティティの共同認識のための新規なスパンベースのモデルを提案する。このモデルは、タスクを関係抽出問題として扱い、スパンのペアを重複または連続（不連続）関係として分類することで、CLEF、GENIA、ACE05のデータセットで最先端の性能を達成し、誤り伝搬を抑えるとともに、複雑なエンティティ構造の処理において強力な有効性を示している。

ABSTRACT

Research on overlapped and discontinuous named entity recognition (NER) has received increasing attention. The majority of previous work focuses on either overlapped or discontinuous entities. In this paper, we propose a novel span-based model that can recognize both overlapped and discontinuous entities jointly. The model includes two major steps. First, entity fragments are recognized by traversing over all possible text spans, thus, overlapped entities can be recognized. Second, we perform relation classification to judge whether a given pair of entity fragments to be overlapping or succession. In this way, we can recognize not only discontinuous entities, and meanwhile doubly check the overlapped entities. As a whole, our model can be regarded as a relation extraction paradigm essentially. Experimental results on multiple benchmark datasets (i.e., CLEF, GENIA and ACE05) show that our model is highly competitive for overlapped and discontinuous NER.

研究の動機と目的

• 重複および不連続名前付きエンティティを同時に処理する際の、系列ラベル付けモデルやグラフベースのモデルの限界を解消すること。
• 完全にスパンベースでエンド・ツー・エンドのフレームワークを用いることで、誤り伝搬を排除し、手動による設計を削減すること。
• エンティティ断片とその関係を共同でモデリングすることで、複雑なエンティティ構造の認識を向上させること。
• 構文誘導型GCNと関係分類の性能向上への寄与を、ベンチマークデータセット上で評価すること。

提案手法

• モデルはまず文内のすべての可能なテキストスパンを特定し、BERTに基づく文脈表現を用いて各スパンを潜在的なエンティティ断片として分類する。
• 次に、すべての断片ペアに対して二値分類を実行し、それらが重複関係または連続関係（不連続）を形成するかを判定する。
• 構文情報をスパン表現に組み込むために、従属構造誘導型グラフ畳み込みネットワーク（GCN）を用いる。
• 関係予測は分類タスクとして定式化され、2つの断片は「重複」または「連続」のラベルが付与される。
• 最終的な予測は、関係スコアに基づいて互換性のある断片ペアを統合することで得られ、すべてのエンティティタイプの共同認識が可能になる。
• 全パイプラインは、スパン分類と関係予測の両方で交差エントロピー損失を用いてエンド・ツー・エンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 複雑なグラフ構造や遷移システムに依存せずに、スパンベースのモデルが重複および不連続名前付きエンティティを共同で認識できるか。
• RQ2 断片間の関係（重複対連続）をモデリングすることで、複雑なエンティティタイプの認識がどの程度向上するか。
• RQ3 従属構文解析から得られる構文的特徴が、共同NEDにおける性能向上にどの程度寄与するか。
• RQ4 正規、重複、不連続エンティティを含む混合エンティティタイプを持つデータセットにおいて、本モデルは最先端のモデルと比較してどの程度の性能を示すか。

主な発見

• ACE05では83.0%のF1、CLEFでは82.4%のF1を達成し、これらのベンチマークでハイパーグラフおよび遷移ベースのモデルを上回った。
• GENIAでは77.8%のF1を達成し、コアファレンス解決やマルチエンベッディング統合を用いていないにもかかわらず、最先端のモデルと同等またはそれを上回った。
• 従属構造誘導型GCNは平均で0.4%の性能向上をもたらし、スパン表現における構文情報の価値を示している。
• 重複関係分類器は、正規および重複エンティティのみを含むデータセットでも肯定的な寄与を示しており、汎用性の高さが裏付けられた。
• すべてのエンティティタイプを統合的に認識する際のリコールが著しく向上し、全タイプを考慮したF1は0.8%向上した。
• 不連続エンティティの認識においてはやや遷移ベースのモデルに劣るものの、すべてのエンティティタイプで高い性能を維持しており、相補的な強みが示された。