[論文レビュー] Adaptive Name Entity Recognition under Highly Unbalanced Data

Thong Nguyen, Duy Thuy Thi Nguyen+1 more|arXiv (Cornell University)|Mar 10, 2020

Topic Modeling参考文献 17被引用数 5

ひとこと要約

本稿では、RNN-CNN分類器を用いて文を弱いエンティティクラス（Weak）と強いエンティティクラス（Strong）に分割し、その後に特化したBi-LSTM-CRFモデルを適用することで、低リソースエンティティの性能を向上させる2段階のNERフレームワークを提案する。この手法により、レアクラス（例：Nat, Art, Eve）のF1スコアがベースラインモデルと比較して50%以上向上し、弱クラスに割り当てられるデータが最小限であっても、マクロF1が0.67に達する。

ABSTRACT

For several purposes in Natural Language Processing (NLP), such as Information Extraction, Sentiment Analysis or Chatbot, Named Entity Recognition (NER) holds an important role as it helps to determine and categorize entities in text into predefined groups such as the names of persons, locations, quantities, organizations or percentages, etc. In this report, we present our experiments on a neural architecture composed of a Conditional Random Field (CRF) layer stacked on top of a Bi-directional LSTM (BI-LSTM) layer for solving NER tasks. Besides, we also employ a fusion input of embedding vectors (Glove, BERT), which are pre-trained on the huge corpus to boost the generalization capacity of the model. Unfortunately, due to the heavy unbalanced distribution cross-training data, both approaches just attained a bad performance on less training samples classes. To overcome this challenge, we introduce an add-on classification model to split sentences into two different sets: Weak and Strong classes and then designing a couple of Bi-LSTM-CRF models properly to optimize performance on each set. We evaluated our models on the test set and discovered that our method can improve performance for Weak classes significantly by using a very small data set (approximately 0.45\%) compared to the rest classes.

研究の動機と目的

• 一般的なクラスに比べてはるかに少ない訓練サンプルを持つレアクラス（例：Art, Eve, Nat）を有する極度に不均衡なNamed Entity Recognition（NER）データセットの課題に対処すること。
• クラスの不均衡のため、標準的なBi-LSTM-CRFやBERTベースのモデルが低リソースエンティティタイプで性能が低下する問題を克服すること。
• 文に弱クラスエンティティを含むかどうかを検出する軽量で適応可能な分類モジュールを開発し、ターゲットのモデル最適化を可能にすること。
• 大規模なデータ収集を必要とせず、モデルアーキテクチャの適応に注力することで、レアエンティティタイプのF1スコアを向上させること。

提案手法

• 弱クラスエンティティ（Art, Eve, Nat）を含む文と、強クラスエンティティ（Geo, Tim, Org, Per, Gpe）のみを含む文を区別するためのRNN-CNN分類器を訓練する。
• RNN-CNNの出力を用いて、文を2つの別々のBi-LSTM-CRFモデルにルーティングする：1つは弱クラスに最適化され、もう1つは強クラスに最適化される。
• 汎化性能を向上させるために、事前学習済みのGloVeおよびBERT埋め込みを入力特徴として使用する。
• ベースモデルの訓練中にクラス不均衡の影響をさらに軽減するために、重み付き損失関数を適用する。
• 複数のモデルバリアント（Bi-LSTM-CRF、BERT-FeedForward、およびデュアルモデル）の予測を多数決することで、最終予測のロバスト性を向上させる。
• 2段階の推論パイプラインを統合する：まず文の種別（Weak/Strong）を分類し、その後に該当するNERモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 極度に不均衡なデータセットにおいて、2段階分類アプローチが、稀なエンティティタイプのNER性能を向上させることができるか？
• RQ2 弱クラスと強クラスの予測を、1つの統合モデルと比較して、別々のBi-LSTM-CRFモデルに分離することで、どの程度効果的か？
• RQ3 最小限の追加データで、低リソースエンティティタイプ（例：Nat, Art, Eve）の性能をどの程度向上させられるか？
• RQ4 タスク固有の分類器を組み合わせたBERT埋め込みは、不均衡NERデータに対して標準的なBi-LSTM-CRFよりも優れた結果をもたらすか？
• RQ5 少数クラスに特に注目した場合、提案手法は標準モデルと比較してマクロF1スコアでどの程度優れているか？

主な発見

• 提案手法により、マクロF1スコアが0.67に向上し、ベースラインのBi-LSTM-CRFモデルの0.55およびBERT-FeedForwardの0.64から顕著に向上した。
• 弱クラスエンティティのF1スコアは50%以上向上：Bi-LSTM-CRFベースラインと比較して、Natは0.26から0.43に、Artは0.00から0.10に、Eveは0.17から0.24に上昇した。
• BERT-FeedForwardモデルは、グローバルF1（0.88）および重み付きF1（0.84）で最高を記録したが、マクロF1ではレアクラスの処理が不十分であったため、依然として劣っていた。
• RNN-CNN分類器は、弱クラス文を区別する際、99.6%の正確度を達成し、特化型NERモデルへの効果的なルーティングを可能にした。
• 弱クラスに割り当てられる訓練データがたった0.45%の状況でも、マクロF1が0.67に達した。これは、極めて高いデータ効率性を示している。
• 弱クラスに使用されるデータ量が少ないにもかかわらず、マクロF1においてすべてのベースラインを大きく上回った。これは、低リソース環境下でも本手法の有効性を裏付けている。