[논문 리뷰] Adaptive Name Entity Recognition under Highly Unbalanced Data

Thong Nguyen, Duy Thuy Thi Nguyen외 1명|arXiv (Cornell University)|2020. 03. 10.

Topic Modeling참고 문헌 17인용 수 5

한 줄 요약

이 논문은 RNN-CNN 분류기를 사용해 문장을 Weak 및 Strong 엔티티 클래스로 분할하는 이단계 NER 프레임워크를 제안한다. 이후 전문화된 Bi-LSTM-CRF 모델을 적용하여 저자원 엔티티에서의 성능을 향상시킨다. 이 방법은 기준 모델 대비 희귀 클래스(예: Nat, Art, Eve)의 F1 점수를 50% 이상 향상시키며, Weak 클래스에 대해 최소한의 데이터로도 매크로 F1 점수 0.67을 달성한다.

ABSTRACT

For several purposes in Natural Language Processing (NLP), such as Information Extraction, Sentiment Analysis or Chatbot, Named Entity Recognition (NER) holds an important role as it helps to determine and categorize entities in text into predefined groups such as the names of persons, locations, quantities, organizations or percentages, etc. In this report, we present our experiments on a neural architecture composed of a Conditional Random Field (CRF) layer stacked on top of a Bi-directional LSTM (BI-LSTM) layer for solving NER tasks. Besides, we also employ a fusion input of embedding vectors (Glove, BERT), which are pre-trained on the huge corpus to boost the generalization capacity of the model. Unfortunately, due to the heavy unbalanced distribution cross-training data, both approaches just attained a bad performance on less training samples classes. To overcome this challenge, we introduce an add-on classification model to split sentences into two different sets: Weak and Strong classes and then designing a couple of Bi-LSTM-CRF models properly to optimize performance on each set. We evaluated our models on the test set and discovered that our method can improve performance for Weak classes significantly by using a very small data set (approximately 0.45\%) compared to the rest classes.

연구 동기 및 목표

• 희귀 클래스(예: Art, Eve, Nat)가 일반 클래스보다 훨씬 적은 학습 샘플을 가지는 극도로 불균형한 Named Entity Recognition (NER) 데이터셋에서의 과제를 해결한다.
• 클래스 불균형으로 인해 표준 Bi-LSTM-CRF 및 BERT 기반 모델이 저자원 엔티티 유형에서 성능 저하를 겪는 문제를 해결한다.
• 문장에 Weak 클래스 엔티티가 포함되어 있는지 탐지할 수 있는 경량이며 적응 가능한 분류 모듈을 개발하여, 타겟 모델 최적화를 가능하게 한다.
• 대규모 데이터 수집을 요구하지 않고도 희귀 엔티티 유형의 F1 점수를 향상시키며, 주로 모델 아키텍처 적응에 초점을 맞춘다.

제안 방법

• Weak 클래스 엔티티(예: Art, Eve, Nat)를 포함한 문장과 Only Strong 클래스 엔티티(예: Geo, Tim, Org, Per, Gpe)를 포함한 문장을 구분하는 RNN-CNN 분류기를 훈련한다.
• RNN-CNN 출력을 바탕으로 문장을 두 개의 별도된 Bi-LSTM-CRF 모델으로 라우팅한다: 하나는 Weak 클래스 전용, 다른 하나는 Strong 클래스 전용이다.
• 모든 엔티티 유형에서 일반화 능력을 향상시키기 위해 사전 학습된 GloVe 및 BERT 임베딩을 입력 특징으로 사용한다.
• 기본 모델에서의 클래스 불균형 영향을 줄이기 위해 훈련 중 가중치 손실 함수를 적용한다.
• 다양한 모델 변형(Bi-LSTM-CRF, BERT-FeedForward, 이중 모델) 간의 다수결 투표를 통해 최종 예측의 견고성을 향상시킨다.
• 이중단계 추론 파이프라인을 통합한다: 먼저 문장 유형(Weak/Strong)을 분류하고, 그에 따라 해당 NER 모델을 적용한다.

실험 결과

연구 질문

• RQ1 극도로 불균형한 데이터셋에서 희귀 엔티티 유형의 NER 성능을 향상시키기 위해 이중단계 분류 접근 방식이 효과적인가?
• RQ2 Weak 및 Strong 클래스 예측을 별도의 Bi-LSTM-CRF 모델로 분리하는 것이 단일 통합 모델 대비 얼마나 효과적인가?
• RQ3 희귀 엔티티 유형(예: Nat, Art, Eve)의 성능을 최소한의 추가 데이터로 얼마나 향상시킬 수 있는가?
• RQ4 임베딩에 BERT를 사용하고 작업에 특화된 분류기를 적용하는 것이 불균형한 NER 데이터에서 표준 Bi-LSTM-CRF보다 더 좋은 성능을 내는가?
• RQ5 소수 클래스에 대해 표준 모델과 비교했을 때 제안된 방법이 매크로 F1 점수 측면에서 얼마나 우수한가?

주요 결과

• 제안된 방법은 매크로 F1 점수를 0.67까지 향상시켰으며, 기준 Bi-LSTM-CRF 모델의 0.55 및 BERT-FeedForward의 0.64보다 뚜렷한 향상이다.
• Weak 클래스 엔티티의 F1 점수는 50% 이상 상승했다: Bi-LSTM-CRF 기준 Nat는 0.26에서 0.43으로, Art는 0.00에서 0.10으로, Eve는 0.17에서 0.24로 향상되었다.
• BERT-FeedForward 모델은 전반적인 F1 점수(0.88)와 가중치 F1 점수(0.84)에서 최고 성능을 보였지만, 매크로 F1에서 희귀 클래스 처리 능력 부족으로 인해 열등했다.
• RNN-CNN 분류기는 Weak 클래스 문장을 식별하는 데 99.6%의 정확도를 달성하여 전문화된 NER 모델에 대한 효과적인 라우팅을 가능하게 했다.
• Weak 클래스에 할당된 훈련 데이터가 단지 0.45%에 불과한 상황에서도 매크로 F1 점수 0.67을 달성하여 높은 데이터 효율성을 입증했다.
• Weak 클래스에 대해 소량의 데이터만 사용했음에도 불구하고, 매크로 F1 측면에서 모든 기준 모델을 압도적으로 뛰어넘어 저자원 환경에서의 효과성을 입증했다.