[論文レビュー] A Unified Generative Framework for Various NER Subtasks

Hang Yan, Tao Gui+4 more|arXiv (Cornell University)|Jun 2, 2021

Topic Modeling参考文献 64被引用数 4

ひとこと要約

本稿では、ポ인터機構を備えたsequence-to-sequenceモデルを用いて、エンティティスパンの系列生成としてNERを定式化することで、フラット、ネスト、不連続のNERサブタスクを統一的に扱う生成フレームワークを提案する。事前学習済みのBARTモデルと3つのエンティティ表現戦略（Word、BPE、Span）を活用し、タスク固有のタギングスキーマやスパンの列挙を必要とせず、8つの英語NERデータセットで最先端またはほぼ最先端の性能を達成した。

ABSTRACT

Named Entity Recognition (NER) is the task of identifying spans that represent entities in sentences. Whether the entity spans are nested or discontinuous, the NER task can be categorized into the flat NER, nested NER, and discontinuous NER subtasks. These subtasks have been mainly solved by the token-level sequence labelling or span-level classification. However, these solutions can hardly tackle the three kinds of NER subtasks concurrently. To that end, we propose to formulate the NER subtasks as an entity span sequence generation task, which can be solved by a unified sequence-to-sequence (Seq2Seq) framework. Based on our unified framework, we can leverage the pre-trained Seq2Seq model to solve all three kinds of NER subtasks without the special design of the tagging schema or ways to enumerate spans. We exploit three types of entity representations to linearize entities into a sequence. Our proposed framework is easy-to-implement and achieves state-of-the-art (SoTA) or near SoTA performance on eight English NER datasets, including two flat NER datasets, three nested NER datasets, and three discontinuous NER datasets.

研究の動機と目的

• フラット、ネスト、不連続のNERサブタスクを1つのフレームワークですべて処理できる統一的アプローチの欠如に対処すること。
• NERモデルにおけるタスク固有のタギングスキーマやスパンの列挙を不要にするための取り組み。
• BARTのような事前学習済みsequence-to-sequenceモデルが、多様なNERサブタスクにどのように有効に活用できるかの検討。
• 異なるエンティティ表現戦略（Word、BPE、Span）がモデル性能に与える影響の評価。
• 1つの生成モデルが、重複・不連続・クロスするエンティティ構造を効果的に処理できることの実証。

提案手法

• NERをsequence-to-sequence生成タスクとして定式化し、モデルがエンティティポインタインデックスの系列を生成するようにする。
• 入力文からエンティティスパンを直接生成するために、事前学習済みBARTモデル内にポインタネットワークを統合する。
• 3つのエンティティ表現手法を提案：Word（単語レベル）、BPE（サブワードレベル）、Span（開始-終了インデックスペア）を用い、エンティティを系列に線形化する。
• 生成されたエンティティインデックス系列に対する交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練する。
• 文脈表現学習の向上と一般化性能の向上を図るため、事前学習済みBARTを統合する。
• ビームサーチを用いた推論デコードを適用し、最終的なエンティティスパンのリストを生成する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャやタギングスキーマの変更なしに、1つの生成型sequence-to-sequenceモデルがフラット、ネスト、不連続NERサブタスクを効果的に処理できるか？
• RQ2 異なるエンティティ表現戦略（Word、BPE、Span）が、多様なNERデータセットにおける性能にどのように影響を与えるか？
• RQ3 BARTのような事前学習済みSeq2Seqモデルを、複数のNERサブタスクで性能向上に活用できる程度はどの程度か？
• RQ4 不連続やクロスするようなレアで複雑な構造のエンティティに対しても、モデルは高いリCALLを維持できるか？
• RQ5 出力系列におけるエンティティ予測の順序が、リCALL性能にどのように影響を与えるか？

主な発見

• 提案された統一的生成フレームワークは、2つのフラット、3つのネスト、3つの不連続NERデータセットを含む8つの多様な英語NERデータセットで、最先端またはほぼ最先端の性能を達成した。
• Geniaデータセットでは「Span」表現が他の手法を上回った。これはBPEトークン化とより良い整合性を持ち、エンティティスパンの断片化が少なくなるためと推定される。
• ShARe13では不連続エンティティで55.0 F1、ShARe14では52.7 F1を達成し、これらのレアだが複雑なケースで先行手法を上回った。
• 不正な予測（非連続または不正なインデックスなど）は1%未満のケースで発生し、評価時にこれらを除外しても全体の性能に影響を及えない。
• フラットおよび不連続NERでは、出力系列内で後半に現れるエンティティのリCALL確率が高くなる傾向にあり、エンティティ間の依存性が低いことが示唆された。
• ネストNERではリCALL曲線がより複雑で、外側のエンティティが正しく予測された内側のエンティティに依存するという階層的依存性のためと推定された。