[論文レビュー] Locate and Label: A Two-stage Identifier for Nested Named Entity Recognition

Yongliang Shen, Xinyin Ma+4 more|arXiv (Cornell University)|May 14, 2021

Topic Modeling参考文献 45被引用数 15

ひとこと要約

本稿では、2段階のオブジェクト検出にインspiredされた、ネスト型名前付きエンティティ抽出（NER）のための2段階ニューラルネットワークを提案する。まずスパン候補をフィルタリングおよび境界回帰により生成・精錬し、その後分類する。部分一致と境界情報の有効活用に加え、計算コストの低減により、KBP17、ACE04、ACE05の各データセットで最先端のF1スコアを達成した。

ABSTRACT

Named entity recognition (NER) is a well-studied task in natural language processing. Traditional NER research only deals with flat entities and ignores nested entities. The span-based methods treat entity recognition as a span classification task. Although these methods have the innate ability to handle nested NER, they suffer from high computational cost, ignorance of boundary information, under-utilization of the spans that partially match with entities, and difficulties in long entity recognition. To tackle these issues, we propose a two-stage entity identifier. First we generate span proposals by filtering and boundary regression on the seed spans to locate the entities, and then label the boundary-adjusted span proposals with the corresponding categories. Our method effectively utilizes the boundary information of entities and partially matched spans during training. Through boundary regression, entities of any length can be covered theoretically, which improves the ability to recognize long entities. In addition, many low-quality seed spans are filtered out in the first stage, which reduces the time complexity of inference. Experiments on nested NER datasets demonstrate that our proposed method outperforms previous state-of-the-art models.

研究の動機と目的

• スパンベース手法のネスト型NERにおける限界、ならびに高い計算コスト、長距離エンティティの認識が不十分であること、境界情報および部分一致スパンの活用不足を解消する。
• 2段階フレームワークを用いて境界回帰とスパン分類を統合することで、エンティティ境界のモデリングを改善する。
• パイプラインの初期段階で低品質なシードスパンをフィルタリングすることで、推論時間を短縮する。
• 部分一致スパン（真のエンティティと部分的に一致するスパン）を、IoUに基づくソフト例として構築することで、学習の効率を向上させる。
• 特に長距離および深くネストされたエンティティを効果的に処理できる、標準的なネスト型NERベンチマークで最先端のパフォーマンスを達成する。

提案手法

• モデルは2段階のアーキテクチャを採用する：まずフィルタと境界回帰器を用いてスパン候補を精錬し、その後スパン分類器で分類する。
• フィルタ部は文脈スパンとスパン候補を分離し、有望でない文脈スパンを除外することで候補空間を縮小する。
• 境界回帰器はSmoothL1損失と、IoUに基づくスパンレベルの重なり損失を用いて、スパン候補の開始位置および終了位置を調整し、局所化の正確性を向上させる。
• 学習段階では、部分一致スパンの損失をその真のエンティティとのIoUに応じて重み付けすることでソフト例を生成し、クラスの不均衡を軽減し、一般化性能を向上させる。
• 推論段階では、偽陽性予測を抑制し、最終出力を精錬するためにソフトNMS（Soft-NMS）を適用する。
• 境界回帰とスパン分類を同時に最適化することで、真のエンティティ境界との整合性が向上し、長距離エンティティの認識が改善される。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出にインspiredされた2段階フレームワークは、1段階のスパンベース手法と比較して、ネスト型NERの効率性と正確性を向上させることができるか？
• RQ2 長距離および深くネストされたエンティティの局所化を向上させるために、境界情報はどのようにより効果的に活用できるか？
• RQ3 従来、ネガティブ例として除外されていた部分一致スパンは、学習段階で活用可能であり、モデルのロバスト性を向上させ、ノイズを低減できるか？
• RQ4 IoUに基づくソフト例の構築は、ネスト型NERにおけるスパン分類タスクの不均衡なデータに対して、どの程度パフォーマンスを向上させるか？
• RQ5 1段階目のフィルタリングと境界回帰の統合は、F1スコアを維持または向上させつつ、推論時間を顕著に短縮できるか？

主な発見

• 提案モデルは、KBP17データセットにおいて、前回の最先端手法よりF1スコアで+3.08%の向上を達成した。
• ACE04データセットでは、既存手法と比較してF1スコアが+0.71%向上した。
• ACE05データセットでは、先行SOTAモデルよりF1スコアが+1.27%向上した。
• 推論段階で1段階目に低品質なシードスパンをフィルタリングすることで、計算コストを低減した。
• 学習段階でIoUに基づくソフト例を用いることで、ポジティブスパンとネガティブスパンの不均衡が効果的に緩和され、一般化性能が向上した。
• 境界回帰とスパン分類の統合により、従来のスパンベースモデルがしばしば見逃す長距離およびネストされたエンティティの正確な検出が可能になった。