[論文レビュー] A Sequence-to-Set Network for Nested Named Entity Recognition

Zeqi Tan, Yongliang Shen+3 more|arXiv (Cornell University)|May 19, 2021

Topic Modeling参考文献 30被引用数 5

ひとこと要約

本論文は、ネストされた名前付きエンティティ抽出（NER）のためのシーケンス・ツー・セットネットワークを提案し、エンティティ予測を順序のないセット生成タスクとして扱うことで、シーケンス・ツー・シーケンスおよびスパンベースの手法の限界を克服する。学習可能なエンティティクエリと自己注意を備えた非自己回帰的デコーダーを用いることで、エンティティ間の依存関係を捉え、ACE 2004、ACE 2005、KBP 2017で最先端の性能を達成し、F1スコアで先行手法を最大2.99%上回る。

ABSTRACT

Named entity recognition (NER) is a widely studied task in natural language processing. Recently, a growing number of studies have focused on the nested NER. The span-based methods, considering the entity recognition as a span classification task, can deal with nested entities naturally. But they suffer from the huge search space and the lack of interactions between entities. To address these issues, we propose a novel sequence-to-set neural network for nested NER. Instead of specifying candidate spans in advance, we provide a fixed set of learnable vectors to learn the patterns of the valuable spans. We utilize a non-autoregressive decoder to predict the final set of entities in one pass, in which we are able to capture dependencies between entities. Compared with the sequence-to-sequence method, our model is more suitable for such unordered recognition task as it is insensitive to the label order. In addition, we utilize the loss function based on bipartite matching to compute the overall training loss. Experimental results show that our proposed model achieves state-of-the-art on three nested NER corpora: ACE 2004, ACE 2005 and KBP 2017. The code is available at https://github.com/zqtan1024/sequence-to-set.

研究の動機と目的

• 自己回帰的生成に起因するラベル順序への感受性という、ネストされたNERにおけるシーケンス・ツー・シーケンスモデルの限界を解消する。
• スパンベースの手法における高い探索空間とスパン間の相互作用の欠如という課題を克服するため、明示的なスパン列挙を学習可能なエンティティクエリに置き換える。
• ネストされた名前付きエンティティを順序のないセット予測タスクとして扱い、エンド・ツー・エンドで一回のパスでエンティティセットを生成可能にする。
• エンティティクエリ間の自己注意により、予測されたエンティティ間の依存関係を直接モデル化することで性能を向上させる。
• ラベル順序を必要とせず、順序のないセット予測に適した二部マッチングに基づく損失関数を用いた学習目的を構築する。

提案手法

• 入力テキストを文脈的表現に変換するために、BERTまたはBiLSTMを用いたシーケンスエンコーダーを採用する。
• 固定された学習可能なエンティティクエリのセットを導入し、潜在的なエンティティを表す。これらのクエリは学習中に更新され、価値あるスパンのパターンを学習する。
• 非自己回帰的デコーダーは、シーケンスエンコーディングとエンティティクエリの間でクロスアテンションを用い、1回の順伝播で最終的なエンティティセットを予測する。
• エンティティクエリ間の自己注意により、予測されたエンティティ間の依存関係を直接モデル化できる。
• 二部マッチングに基づく損失関数を用いて、ラベル順序を必要とせず、予測されたエンティティセットと正例セットを一致させる総合的な学習損失を計算する。
• 二部マッチング損失を用いてエンド・ツー・エンドで学習を行う。これは、標準的な交差エントロピー損失よりも順序のないセット予測に適している。

実験結果

リサーチクエスチョン

• RQ1 ネストされたNERをシーケンス・ツー・セットタスクとして扱うことで、シーケンス・ツー・シーケンスモデルに内在するラベル順序への感受性を回避し、性能向上が図れるか？
• RQ2 学習可能なエンティティクエリが明示的なスパン列挙を効果的に置き換え、探索空間を縮小しながらも、正確性を維持または向上できるか？
• RQ3 エンティティクエリ間の自己注意を備えた非自己回帰的デコーダーが、自己回帰的またはスパンベースの手法よりもエンティティ間の依存関係をよりよく捉えられるか？
• RQ4 二部マッチング損失が、交差エントロピー損失よりも順序のないセット予測の学習に有効であるか？
• RQ5 提案されたモデルが、複雑な前処理・後処理や誤りを起こしやすいスパン生成パイプラインに依存せずに、複数のネストされたNERベンチマークで最先端の性能を達成できるか？

主な発見

• 提案モデルは、3つの主要なネストされたNERベンチマークで最先端のF1スコアを達成した：ACE 2004で87.26、ACE 2005で87.05、KBP 2017で85.75。
• 強力なベースラインを上回り、ACE 2004でF1スコア0.56%、ACE 2005で1.65%、KBP 2017で2.99%の向上を達成した。
• エンティティクエリを固定すると、ACE 2004で0.40%、ACE 2005で0.81%のF1スコア低下が生じ、クエリが意味のあるスパンパターンを学習していることが示された。
• 交差エントロピー損失を二部マッチング損失に置き換えることで、ACE 2004でF1スコア2.67%、ACE 2005で1.11%向上し、順序のないセット予測に有効であることが確認された。
• アブレーションスタディにより、学習可能なエンティティクエリと二部マッチング損失の両方がモデル性能の鍵となる重要な要素であることが確認された。