[논문 리뷰] Named Entity Recognition in the Style of Object Detection

Bing Li|arXiv (Cornell University)|2021. 01. 26.

Topic Modeling참고 문헌 28인용 수 6

한 줄 요약

이 논문은 객체 검출에서 영감을 얻어 두 단계로 구성된 명명된 실체 인식(NER) 프레임워크를 제안한다. 먼저 영역 제안 네트워크(RPN)를 사용해 후보 스패닝을 생성하고, 이후 분류 헤드가 동시에 entityness와 유형을 예측한다. 이 방법은 중첩 NER 벤치마크에서 SOTA 성능을 달성하였으며, ACE2005에서 85.6 F1, Genia에서 76.8 F1를 기록하여 많은 복잡한 모델들을 능가한다. 또한 평탄한 NER 작업에서도 뛰어난 성능을 유지한다.

ABSTRACT

In this work, we propose a two-stage method for named entity recognition (NER), especially for nested NER. We borrowed the idea from the two-stage Object Detection in computer vision and the way how they construct the loss function. First, a region proposal network generates region candidates and then a second-stage model discriminates and classifies the entity and makes the final prediction. We also designed a special loss function for the second-stage training that predicts the entityness and entity type at the same time. The model is built on top of pretrained BERT encoders, and we tried both BERT base and BERT large models. For experiments, we first applied it to flat NER tasks such as CoNLL2003 and OntoNotes 5.0 and got comparable results with traditional NER models using sequence labeling methodology. We then tested the model on the nested named entity recognition task ACE2005 and Genia, and got F1 score of 85.6$\%$ and 76.8$\%$ respectively. In terms of the second-stage training, we found that adding extra randomly selected regions plays an important role in improving the precision. We also did error profiling to better evaluate the performance of the model in different circumstances for potential improvements in the future.

연구 동기 및 목표

• 컴퓨터 비전에서 유래한 두 단계 객체 검출 프레임워크가 명명된 실체 인식, 특히 중첩 실체에 대해 효과적으로 적용될 수 있는지 탐구하는 것.
• 영역 제안과 실체 분류, 유형 예측을 분리함으로써 중첩 NER에서 정밀도와 재현율을 향상시키는 것.
• 기존의 순차 레이블링 접근 방식과 비교하여, 평탄한 NER 및 중첩 NER 벤치마크에서 모델의 성능을 평가하는 것.
• 오류 유형을 분석하고, 다양한 실패 상황에서 모델의 강점과 한계를 이해하는 것.

제안 방법

• 두 단계 아키텍처를 사용한다: 첫 번째로, BERT 임베딩 위에 선형 레이어를 적용하여 영역 제안 네트워크(RPN)가 후보 실체 스팬의 시작 및 끝 위치를 예측한다.
• RPN은 시작 및 끝 토큰 예측을 위해 교차 엔트로피 손실을 사용하며, 서브워드 토큰에 마스킹을 적용하여 단어 수준의 시작에 집중한다.
• 두 번째 단계에서, 각 후보 스팬의 풀링된 표현을 처리하여 entityness(유효한 실체인지 여부)와 실체 유형을 동시에 예측하는 분류 헤드가 작동한다.
• 실체의 존재 여부와 유형 분류를 결합한 새로운 손실 함수를 도입하여, 동시 최적화를 가능하게 하고 예측의 해석 가능성을 향상시킨다.
• 정밀도 향상을 위해 훈련 중에 무작위 음성 샘플을 추가하고, 스팬에 대해 최대 풀링을 사용하여 특징을 집계한다.
• 모델은 BERT-base 및 BERT-large에서 미세조정되며, 구성 요소 기여도를 평가하기 위한 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 표준 순차 레이블링과 비교해, 두 단계 객체 검출 유사 프레임워크가 중첩 명명된 실체 인식 성능 향상에 기여하는가?
• RQ2 실체 존재 여부와 실체 유형을 동시에 예측하는 것이 NER 성능과 오류 패tern에 어떤 영향을 미치는가?
• RQ3 최대 풀링, 무작위 음성 샘플링, 시작/끝 예측과 같은 아키텍처 구성 요소가 최종 F1 점수에 미치는 영향은 무엇인가?
• RQ4 표준 BERT 순차 레이블링 모델과 비교해, 모델의 오류 구성이 경계 오류, 유형 오류, 과다/부족 트리거 오류 측면에서 어떻게 다를까?

주요 결과

• 모델은 ACE2005 중첩 NER 벤치마크에서 85.6%의 F1 점수를 기록하여, 많은 더 복잡한 모델들을 능가하였다.
• Genia 데이터셋에서는 76.8%의 F1 점수를 기록하여, 겹치는 실체의 복잡성에도 불구하고 중첩 NER에서 뛰어난 성능을 보였다.
• 추론 실험 결과, 최대 풀링을 제거하면 F1 점수에 1.0% 이상 감소가 발생하여, 이는 특징 집계에서의 핵심적 역할을 확인시켰다.
• 무작위 음성 샘플링은 정밀도 향상에 기여하였으며, 이를 제거하면 F1 점수에 0.7% 감소가 발생하여, 거짓 긍정을 줄이는 데 중요한 역할을 함을 시사했다.
• 표준 BERT 순차 레이블링 모델과 비교해 과다 트리거 오류를 크게 감소시켜, 실체 존재 여부 예측 능력이 뛰어남을 확인했다.
• 오류 분석 결과, 두 모델 모두 주로 유형 오류가 지배적이었지만, 두 단계 모델은 거짓 긍정과 경계 오류를 더 잘 제어하는 경향을 보였다.