[논문 리뷰] What do we Really Know about State of the Art NER?

Sowmya Vajjala, Ramya Balasubramaniam|arXiv (Cornell University)|2022. 04. 29.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 다양한 텍스트 장르, 악성 변형, 분포 외 설정에서의 성능을 평가함으로써 최신 기술(Named Entity Recognition, NER) 모델의 성능을 철저히 평가한다. 널리 사용되는 데이터셋에서 세 가지 최신 기술 모델을 사용하여 분석한 결과, 새로운 장르와 악성 예제에서 성능 저하가 심각하게 나타나며, NER 연구에서 투명성과 내구성 평가 향상을 위해 보다 포괄적인 보고 방식이 필요하다고 주장한다.

ABSTRACT

Named Entity Recognition (NER) is a well researched NLP task and is widely used in real world NLP scenarios. NER research typically focuses on the creation of new ways of training NER, with relatively less emphasis on resources and evaluation. Further, state of the art (SOTA) NER models, trained on standard datasets, typically report only a single performance measure (F-score) and we don't really know how well they do for different entity types and genres of text, or how robust are they to new, unseen entities. In this paper, we perform a broad evaluation of NER using a popular dataset, that takes into consideration various text genres and sources constituting the dataset at hand. Additionally, we generate six new adversarial test sets through small perturbations in the original test set, replacing select entities while retaining the context. We also train and test our models on randomly generated train/dev/test splits followed by an experiment where the models are trained on a select set of genres but tested genres not seen in training. These comprehensive evaluation strategies were performed using three SOTA NER models. Based on our results, we recommend some useful reporting practices for NER researchers, that could help in providing a better understanding of a SOTA model's performance in future.

연구 동기 및 목표

• 표준 벤치마크 평가를 초월해 최신 기술 NER 모델이 다양한 텍스트 장르와 도메인에서 얼마나 잘 일반화되는지 조사하는 것.
• 문맥을 유지하면서 개체를 대체하는 소규모 악성 변형이 최신 기술 NER 모델에 미치는 영향을 평가하는 것.
• 일부 장르의 서브셋으로 훈련하고 새로운 장르에서 테스트함으로써 실제 운영 환경을 시뮬레이션하는 일반화 능력을 평가하는 것.
• 현재 NER 평가 방식의 한계를 규명하여 모델 행동과 신뢰성에 대한 이해를 방해하는 요소를 파악하는 것.
• 투명성과 성능 비교 가능성을 향상시키기 위해 NER 연구의 보고 기준을 개선하는 것.

제안 방법

• 다양한 텍스트 장르와 출처를 포함하는 다각도적인 데이터셋을 사용해 세 가지 최신 기술 NER 모델의 종합적 평가를 수행.
• 기존 테스트 세트의 개체에 소규모이고 문맥을 유지하는 변형을 적용하여 여섯 개의 새로운 악성 테스트 세트를 생성.
• 데이터 분할에 따라 무작위로 생성된 훈련/검증/테스트 세트를 사용해 데이터 분할에 따른 안정성 평가.
• 일부 장르의 서브셋으로 모델을 훈련하고 새로운 장르에서 평가하여 일반화 능력을 테스트.
• 표준 지표인 F1 점수 외에도 개체 유형 및 장르별 성능 분석을 통해 숨겨진 성능 변동성을 파악.
• 전체 F1 점수 외에도 개체 유형 및 장르별 결과를 보고하여 모델 행동의 세밀한 분석 가능하게 함.

실험 결과

연구 질문

• RQ1 동일한 데이터셋 내에서 다양한 텍스트 장르와 출처에서 최신 기술 NER 모델의 성능은 어떻게 나타나는가?
• RQ2 문맥을 유지하면서 개체를 대체하는 소규모, 문맥 보존 변형에 대해 최신 기술 NER 모델의 내구성은 어느 정도인가?
• RQ3 훈련 중에 볼 수 없었던 장르에서 테스트할 경우 모델 성능은 어떻게 저하되는가?
• RQ4 현재 평가 관행이 최신 기술 NER 모델의 진정된 능력과 한계를 얼마나 많이 가리키는가?
• RQ5 어떤 보고 방식이 NER 모델 평가의 투명성과 신뢰성을 향상시킬 수 있는가?

주요 결과

• 최신 기술 NER 모델은 새로운 텍스트 장르에서 평가될 경우 성능 저하가 심각하게 나타나며, 일부 경우 20 F1 포인트 이상 감소하는 등 일반화 능력이 열악함을 시사한다.
• 개체를 대체한 악성 테스트 세트에서 성능 저하가 심각하게 발생했으며, 일부 모델의 F1 점수는 최대 15점까지 하락하여 소규모 입력 변화에 매우 취약한 것으로 드러났다.
• 개체 유형 간 성능 격차가 뚜렷했으며, 자원이 적은 유형(예: 'Event' 또는 'Title')은 'Person'이나 'Location'과 같은 자원이 많은 유형에 비해 훨씬 낮은 재현율과 F1 점수를 보였다.
• 무작위로 생성된 훈련/검증/테스트 세트 분할은 런 간 성능의 불일치를 초래하여 기존 평가 프로토콜 하에서의 불안정성을 드러냈다.
• 일부 장르의 서브셋으로 훈련된 모델은 새로운 장르에서 성능이 열악하게 나타나 특정 도메인 특성에 과적합되는 위험을 확인했다.
• 전체 F1 점수에만 의존할 경우 모델 능력에 대한 완전하고 종종 오해의 소지가 있는 그림을 제공할 수 있음을 본 연구가 입증했다.