[論文レビュー] Empirical Analysis of Unlabeled Entity Problem in Named Entity Recognition

Yangming Li, lemao liu+1 more|arXiv (Cornell University)|Dec 9, 2020

Topic Modeling参考文献 25被引用数 49

ひとこと要約

この論文はNERにおけるラベルなしエンティティ問題を分析し、2つの劣化要因を特定し、BERTベースのスコアリングを用いた負サンプリングに基づく手法を導入して誤導を減らし頑健性を向上させ、ベンチマークと実世界データセットで競争力のある結果を得ている。

ABSTRACT

In many scenarios, named entity recognition (NER) models severely suffer from unlabeled entity problem, where the entities of a sentence may not be fully annotated. Through empirical studies performed on synthetic datasets, we find two causes of performance degradation. One is the reduction of annotated entities and the other is treating unlabeled entities as negative instances. The first cause has less impact than the second one and can be mitigated by adopting pretraining language models. The second cause seriously misguides a model in training and greatly affects its performances. Based on the above observations, we propose a general approach, which can almost eliminate the misguidance brought by unlabeled entities. The key idea is to use negative sampling that, to a large extent, avoids training NER models with unlabeled entities. Experiments on synthetic datasets and real-world datasets show that our model is robust to unlabeled entity problem and surpasses prior baselines. On well-annotated datasets, our model is competitive with the state-of-the-art method.

研究の動機と目的

• 実世界および合成設定でラベルなしエンティティがNER性能を劣化させる様子を調査する。
• 注釈削減の影響とラベルなしスパンの誤属性付けによる影響を定量化する。
• ラベルなしエンティティからの誤導を抑えつつ、十分に注釈されたデータの性能を維持する訓練アプローチを開発する。
• 提案手法を合成データ、実世界コーパス、および標準ベンチマークで評価し、頑健性と競争力を確立する。

提案手法

• ラベルなしエンティティ問題を定式化し、劣化指標（侵食と誤導率）を定義する。
• トークン表現をエンコードしスパン特徴量（s_{i,j}）を計算するためにBERTを用いたスパンベースのNERスコアリングモデルを構築する。
• 負サンプリングを用いて未ラベルのスパンの一部を negatives として抽出し、全監視で未ラベルエンティティを negatives として扱うことを回避する（Equation 7）。
• 推論を貪欲なスパン選択として定義し、競合解決はスコアが最も高い非-Oラベルを各スパンに割り当て、重複する低スコアのスパンを破棄する。
• 合成マスキング実験と実世界データセット（EC、NEWS）を通じて頑健性を分析する。
• 負サンプリングの下で未ラベルエンティティを見逃す確率について理論的に議論する（Eq. 8）。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしエンティティの注釈が異なるアーキテクチャやデータレジームでNER性能にどう影響するか？
• RQ2 劣化の主な原因は何であり、どちらがより影響するか？
• RQ3 負サンプリングは、注釈ありデータの精度を犠牲にせずに訓練時の誤導を効果的に排除できるか？
• RQ4 提案手法は合成データ、実世界データ、および完全注釈データのベースラインと比較してどのような性能を示すか？

主な発見

• ラベルなしエンティティは2つの劣化効果を引き起こす：注釈されるエンティティが少なくなることと、ラベルなしスパンを negatives として扱うこと、後者の方がより重大な影響を与える。
• 事前学習済み言語モデル（例：BERT）を用いると注釈削減の影響を緩和でき、特にマスキング率が高い場合に効果が大きい。
• 負サンプリングは大幅に誤導を減らし、ラベルなしスパンが増加しても性能を維持する。
• 合成データセットでは、負サンプリングを用いた提案モデルはBERT Taggingより大幅に上回り、特に高いマスキング確率で絶対的な gains（例：p=0.6でCoNLL-2003において最大で27.16%）を達成する。
• 実世界データセット（EC、NEWS）では、いくつかのベースラインと比較して新しいSOTAに到達する成果を示し、F1スコアの顕著な向上を示す。
• 十分に注釈されたデータ（CoNLL-2003、OntoNotes 5.0）において、モデルはSOTA手法と競合し、非常に小さなギャップしかない。