[論文レビュー] BoningKnife: Joint Entity Mention Detection and Typing for Nested NER via prior Boundary Knowledge

Huiqiang Jiang, Guoxin Wang+3 more|arXiv (Cornell University)|Jul 20, 2021

Topic Modeling参考文献 26被引用数 8

ひとこと要約

BoningKnifeは、ネストされたNERにおけるエンティティのmention検出とタイプ指定を統合するモデルを提案する。境界知識を事前活用することで、精度と効率性を向上させる。MentionTaggerを統合して境界に配慮した候補生成を強化し、2段階のアテンション機構を備えたTypeClassifierによりネストされたレベルを分離することで、ACE2004、ACE2005、NNEでそれぞれ86.41、85.46、94.2の最先端F1スコアを達成。スパンベースのベースラインと比較して、学習時間を最大4.18倍短縮した。

ABSTRACT

While named entity recognition (NER) is a key task in natural language processing, most approaches only target flat entities, ignoring nested structures which are common in many scenarios. Most existing nested NER methods traverse all sub-sequences which is both expensive and inefficient, and also don't well consider boundary knowledge which is significant for nested entities. In this paper, we propose a joint entity mention detection and typing model via prior boundary knowledge (BoningKnife) to better handle nested NER extraction and recognition tasks. BoningKnife consists of two modules, MentionTagger and TypeClassifier. MentionTagger better leverages boundary knowledge beyond just entity start/end to improve the handling of nesting levels and longer spans, while generating high quality mention candidates. TypeClassifier utilizes a two-level attention mechanism to decouple different nested level representations and better distinguish entity types. We jointly train both modules sharing a common representation and a new dual-info attention layer, which leads to improved representation focus on entity-related information. Experiments over different datasets show that our approach outperforms previous state of the art methods and achieves 86.41, 85.46, and 94.2 F1 scores on ACE2004, ACE2005, and NNE, respectively.

研究の動機と目的

• すべての部分列を走査する従来のネストされたNER手法における非効率性とネストレベルの取り扱いの悪さを解消すること。
• 開始/終了トークンを越えたより豊富な境界知識を組み込むことで、深くネストされた長スパンエンティティの認識を向上させること。
• 異なるネストレベル間の表現を分離することで、タイプ分類の精度を向上させること。
• 共有エンコーダーと二重情報アテンション層を用いた統合的最適化により、mention検出とタイプ指定を同時に最適化し、表現の焦点を高めること。
• 事前に高品質なmention候補を生成することで、性能を損なわず効率を向上させること。

提案手法

• 本モデルは2モジュールアーキテクチャを採用：MentionTaggerは境界に配慮したmention候補生成を、TypeClassifierはタイプ予測を担当する。
• MentionTaggerは、エンティティの開始・終了および領域レベルの情報を統合的にモデル化することで、境界知識を強化し、ネストされたスパンや長スパンの検出精度を向上させる。
• TypeClassifierは2段階のアテンション機構を採用し、異なるネストレベル間の表現を分離し、タイプ識別を向上させる。
• 二重情報アテンション層はmention検出の出力を文脈表現と統合し、エンティティ関連の特徴に焦点を当てた学習を可能にし、統合学習を促進する。
• 共有BERTベースのエンコーダーを用いたエンドツーエンド最適化により、全スパン列挙に依存するのを減らし、学習を効率化する。
• 高品質な候補を事前に生成することで、全スパン列挙を回避し、時間計算量をO(m·n²)からより効率的なスケールにまで削減する。

実験結果

リサーチクエスチョン

• RQ1 単なる開始/終了トークンを越えた事前境界知識は、NERにおけるネストされたスパンや長スパンエンティティの検出を改善できるか？
• RQ2 重複するmentionにおけるエンティティタイプ分類を向上させるために、異なるネストレベルを効果的に分離する方法は何か？
• RQ3 二重情報アテンション機構を用いたmention検出とタイプ指定の統合学習は、表現の焦点とモデル性能を向上させられるか？
• RQ4 候補生成の複雑さを低減することで、精度を損なわず、ネストされたNERにおける効率性がどの程度向上するか？
• RQ5 標準的なネストされたNERベンチマークにおいて、F1スコアと学習時間の観点から、最先端手法と比較してどのように差がつくか？

主な発見

• BoningKnifeは、ACE2004で86.41、ACE2005で85.46、NNEで94.2の最先端F1スコアを達成し、先行手法を上回った。
• スパンベースのベースラインと比較して、ACE2004では1.75倍、ACE2005では1.83倍、NNEでは最大4.18倍の学習時間短縮を達成した。
• アブレーションスタディの結果、MentionTaggerを削除するとACE2004でF1が31.54に低下し、候補品質におけるその重要性が明確になった。
• アテンション可視化の結果、二重情報アテンション層が関連するエンティティトークンおよびその周辺を的確に注目しており、意味的整合性が向上した。
• S/Eベースの手法とは異なり、終了トークンの確率が低くても「those so injured」のような長大なネストされたスパンを正しく特定できた。
• 二重情報アテンション層は、グローバルな文脈とmention固有の注目を統合することで、より優れた表現学習を実現し、性能向上に寄与した。