[論文レビュー] Named Entity Recognition in the Style of Object Detection

Bing Li|arXiv (Cornell University)|Jan 26, 2021

Topic Modeling参考文献 28被引用数 6

ひとこと要約

この論文は、物体検出にインspiredされた二段階の名前付きエンティティ認識（NER）フレームワークを提案している。領域提案ネットワーク（RPN）を用いて候補スパンを生成し、その後にエンティティスコアとタイプを同時に予測する分類ヘッドを適用する。この手法は、ネスト型NERベンチマークでSOTAの結果を達成しており（ACE2005で85.6 F1、Geniaで76.8 F1）、多数の複雑なモデルを上回っている。一方で、フラット NER タスクにおいても高い性能を維持している。

ABSTRACT

In this work, we propose a two-stage method for named entity recognition (NER), especially for nested NER. We borrowed the idea from the two-stage Object Detection in computer vision and the way how they construct the loss function. First, a region proposal network generates region candidates and then a second-stage model discriminates and classifies the entity and makes the final prediction. We also designed a special loss function for the second-stage training that predicts the entityness and entity type at the same time. The model is built on top of pretrained BERT encoders, and we tried both BERT base and BERT large models. For experiments, we first applied it to flat NER tasks such as CoNLL2003 and OntoNotes 5.0 and got comparable results with traditional NER models using sequence labeling methodology. We then tested the model on the nested named entity recognition task ACE2005 and Genia, and got F1 score of 85.6$\%$ and 76.8$\%$ respectively. In terms of the second-stage training, we found that adding extra randomly selected regions plays an important role in improving the precision. We also did error profiling to better evaluate the performance of the model in different circumstances for potential improvements in the future.

研究の動機と目的

• コンピュータビジョンにおける二段階物体検出の枠組みが、特にネスト型エンティティに対して、名前付きエンティティ認識に効果的に適応可能かどうかを検討すること。
• 領域提案とエンティティ分類・タイプ予測を分離することで、ネスト型 NER における正確性と再現率を向上させること。
• 従来のシーケンスラベルリングアプローチと比較して、フラットおよびネスト型 NER ベンチマークにおけるモデルの性能を評価すること。
• エラーの種類を分析し、さまざまな失敗状況におけるモデルの強みと限界を理解すること。

提案手法

• 二段階のアーキテクチャを採用：まず、BERT の埋め込みの上に線形層を適用し、領域提案ネットワーク（RPN）が候補エンティティスパンの開始位置と終了位置を予測する。
• RPN は、開始トークンと終了トークンの予測に交差エントロピー損失を用い、サブワードトークンにマスキングを適用することで、語レベルの開始位置に焦点を当てる。
• 第二段階では、各候補スパンのプールド表現を処理する分類ヘッドが、エンティティスコア（有効なエンティティかどうか）とエンティティタイプを同時に予測する。
• エンティティスコアとタイプ分類を統合する新しい損失関数を導入し、同時に最適化を可能にするとともに、予測の解釈性を向上させる。
• 訓練中にランダムなネガティブサンプルを追加することで精度を向上させ、スパン全体の最大プールを用いて特徴を集約する。
• モデルは BERT-base および BERT-large で微調整され、部品の寄与度を評価するためのアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 標準的なシーケンスラベルリングと比較して、物体検出に類似した二段階フレームワークがネスト型名前付きエンティティ認識の性能を向上させることができるか？
• RQ2 エンティティスコアとエンティティタイプの同時予測が、NER におけるモデルの性能とエラーパターンに与える影響は何か？
• RQ3 最大プール、ランダムネガティブサンプリング、開始/終了位置予測といったアーキテクチャ的要因が、最終的な F1 スコアに与える影響は何か？
• RQ4 標準的な BERT シーケンスラベルリングモデルと比較して、モデルのエラー構成（境界誤り、タイプ誤り、過剰・不足トリガー）はどのように異なるか？

主な発見

• モデルは ACE2005 ネスト型 NER ベンチマークで 85.6% の F1 スコアを達成し、多数のより複雑なモデルを上回った。
• Genia データセットでは 76.8% の F1 スコアを達成し、重複するエンティティの複雑さにもかかわらず、ネスト型 NER において強力な性能を示した。
• アブレーションスタディの結果、最大プールを削除すると F1 が 1.0% 以上低下し、特徴集約においてその重要性が示された。
• ランダムネガティブサンプリングにより精度が向上し、これを削除すると F1 が 0.7% 減少した。これは、誤検出の低減に寄与していることを示している。
• 標準的な BERT シーケンスラベルリングモデルと比較して、過剰トリガー誤りが顕著に減少した。これは、エンティティスコア予測の優れた性能を示している。
• エラー分析の結果、両モデルにおいてタイプ誤りが主なエラー種別であったが、二段階モデルは誤検出と境界誤りの制御が優れていた。