[논문 리뷰] Empirical Analysis of Unlabeled Entity Problem in Named Entity Recognition

Yangming Li, lemao liu외 1명|arXiv (Cornell University)|2020. 12. 09.

Topic Modeling참고 문헌 25인용 수 49

한 줄 요약

본 논문은 NER에서 라벨이 없는 엔티티 문제를 분석하고 두 가지 저하 원인을 확인하며, BERT 기반 스코어링을 활용한 음수 샘플링 기반 방법을 도입하여 오도 현상을 줄이고 강건성을 향상시키며, 벤치마크 및 실제 데이터셋에서 경쟁력 있는 성과를 보인다.

ABSTRACT

In many scenarios, named entity recognition (NER) models severely suffer from unlabeled entity problem, where the entities of a sentence may not be fully annotated. Through empirical studies performed on synthetic datasets, we find two causes of performance degradation. One is the reduction of annotated entities and the other is treating unlabeled entities as negative instances. The first cause has less impact than the second one and can be mitigated by adopting pretraining language models. The second cause seriously misguides a model in training and greatly affects its performances. Based on the above observations, we propose a general approach, which can almost eliminate the misguidance brought by unlabeled entities. The key idea is to use negative sampling that, to a large extent, avoids training NER models with unlabeled entities. Experiments on synthetic datasets and real-world datasets show that our model is robust to unlabeled entity problem and surpasses prior baselines. On well-annotated datasets, our model is competitive with the state-of-the-art method.

연구 동기 및 목표

• 실제 및 합성 환경에서 라벨이 없는 엔티티가 NER 성능을 어떻게 저하시키는지 조사한다.
• 주석 축소와 라벨 누락된 span의 잘못된 라벨링 간의 영향을 정량화한다.
• 잘 주석된 데이터의 성능을 유지하면서 라벨이 없는 엔티티로부터의 오도 현상을 완화하는 학습 방법을 개발한다.
• 제안된 방법을 합성 데이터셋, 실제 코퍼스 및 표준 벤치마크에서 평가하여 강건성과 경쟁력을 입증한다.

제안 방법

• 라벨이 없는 엔티티 문제를 공식화하고 저하 지표(erosion 및 misguidance 비율)를 정의한다.
• 토큰 표현을 인코딩하고 span 특징(s_{i,j})을 계산하기 위해 BERT를 사용한 스팬 기반 NER 스코어링 모델을 구축한다.
• 전체 감독 학습에서 라벨이 없는 엔티티를 음수로 취급하는 것을 피하기 위해 일부 라벨 없는 스팬을 음수로 샘플링하여 음수 샘플링으로 학습한다(식 7).
• 추론은 각 span에 대해 가장 높은 점수를 가진 non-O 라벨을 선택하고 겹치는 낮은 점수의 span을 버리는 탐욕적 스팬 선택으로 정의한다.
• 합성 마스킹 실험과 실제 데이터셋(EC, NEWS)을 통해 강건성을 분석한다.
• 음수 샘플링 하에서 라벨이 없는 엔티티를 놓칠 확률에 대한 이론적 논의를 제공한다(식 8).

실험 결과

연구 질문

• RQ1 라벨이 없는 엔티티 주석이 다른 아키텍처와 데이터 규模에서 NER 성능에 미치는 영향은 무엇인가?
• RQ2 저하의 주요 원인은 무엇이며 어느 원인이 더 큰 영향을 미치는가?
• RQ3 음수 샘플링이 잘 주석된 데이터의 정확도 손실 없이 학습 오도 현상을 효과적으로 제거할 수 있는가?
• RQ4 제안된 방법은 합성 데이터셋, 실제 데이터 및 완전 주석 데이터에서 벤치마크 대비 성능과 강건성을 어떻게 보이는가?

주요 결과

• 라벨이 없는 엔티티는 두 가지 저하 효과를 유발한다: 주석 엔티티 수 감소와 라벨이 없는 스팬을 음수로 처리하는 것; 후자가 더 해롭다.
• 사전학습 언어 모델(예: BERT)을 사용하면 주석 감소 효과를 완화하며, 특히 더 높은 마스킹 비율에서 그렇다.
• 음수 샘플링은 오도 현상을 크게 줄이고, 라벨이 없는 스팬이 증가해도 성능을 유지한다.
• 합성 데이터셋에서 제안된 음수 샘플링 모델은 BERT Tagging보다 현저히 우수하며, 특히 높은 마스킹 확률에서 큰 이점을 보인다(예: p=0.6에서 CoNLL-2003 기준 절대 이득 27.16%까지).
• 실제 데이터셋(EC, NEWS)에서 여러 베이스라인 대비 새로운 최첨단 성능을 달성했고 F1 점수에서 주목할 만한 향상을 보인다.
• 주석이 잘 된 데이터(CoNLL-2003, OntoNotes 5.0)에서도 모델은 최첨단 방법과 경쟁하며 차이가 매우 작다.