[논문 리뷰] Locate and Label: A Two-stage Identifier for Nested Named Entity Recognition

Yongliang Shen, Xinyin Ma외 4명|arXiv (Cornell University)|2021. 05. 14.

Topic Modeling참고 문헌 45인용 수 15

한 줄 요약

이 논문은 이중단계 객체 검출에 영감을 받아, 중첩된 명명된 실체 인식(NER)을 위한 이중단계 신경망을 제안한다. 먼저 스팬 제안을 필터링하고 경계 회귀를 통해 정제한 후, 이를 분류함으로써, 부분 일치와 경계 정보를 효과적으로 활용하면서도 계산 비용을 줄이며, KBP17, ACE04, ACE05에서 최신 기술 수준의 F1 스코어를 달성한다.

ABSTRACT

Named entity recognition (NER) is a well-studied task in natural language processing. Traditional NER research only deals with flat entities and ignores nested entities. The span-based methods treat entity recognition as a span classification task. Although these methods have the innate ability to handle nested NER, they suffer from high computational cost, ignorance of boundary information, under-utilization of the spans that partially match with entities, and difficulties in long entity recognition. To tackle these issues, we propose a two-stage entity identifier. First we generate span proposals by filtering and boundary regression on the seed spans to locate the entities, and then label the boundary-adjusted span proposals with the corresponding categories. Our method effectively utilizes the boundary information of entities and partially matched spans during training. Through boundary regression, entities of any length can be covered theoretically, which improves the ability to recognize long entities. In addition, many low-quality seed spans are filtered out in the first stage, which reduces the time complexity of inference. Experiments on nested NER datasets demonstrate that our proposed method outperforms previous state-of-the-art models.

연구 동기 및 목표

• 스패닝 기반 방법의 한계를 해결하기 위해, 특히 높은 계산 비용, 장거리 실체 인식 성능 부족, 경계 및 부분 일치 스팬의 활용 부족 문제를 해결한다.
• 이중단계 아키텍처 내에서 경계 회귀를 스팬 분류와 통합하여 실체 경계를 보다 효과적으로 모델링한다.
• 파ip라인의 초기 단계에서 저품질의 시드 스팬을 조기에 필터링하여 추론 시간을 단축시킨다.
• 스패닝이 정답 실체와 부분 일치하는 경우에 대해 IoU 기반 소프트 예제를 구성함으로써 학습 효율성을 향상시킨다.
• 특히 장거리 및 깊이 있는 중첩된 실체를 처리하는 데 있어 표준 중첩 NER 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 모델는 이중단계 아키텍처를 사용한다: 먼저 필터와 경계 회귀기로 정제된 스팬 제안을 생성한 후, 스팬 분류기를 통해 이를 분류한다.
• 필터 컴포넌트는 문맥 스팬과 스팬 제안을 분리하고, 유망하지 않은 문맥 스팬을 제거하여 후보 공간을 축소한다.
• 경계 회귀기에서는 SmoothL1 손실과 IoU 기반의 스팬 수준 오버랩 손실을 사용하여 스팬 제안의 시작 및 종료 위치를 조정함으로써 정위치 정확도를 향상시킨다.
• 학습 중에 부분 일치 스팬의 손실을 정답 실체와의 IoU에 따라 가중치를 두어 소프트 예제를 생성함으로써, 클래스 불균형을 완화하고 일반화 성능을 향상시킨다.
• 추론 중에는 소프트 비최대 억제(Soft-NMS)를 적용하여 가짜 양성 예측을 억제하고 최종 출력을 정밀하게 조정한다.
• 경계 회귀와 스팬 분류를 동시에 최적화함으로써, 진짜 실체 경계와의 보다 나은 정렬을 가능하게 하고, 장거리 실체의 인식 성능도 향상시킨다.

실험 결과

연구 질문

• RQ1 객체 검출에서 영감을 받은 이중단계 프레임워크가 일단계 스팬 기반 방법에 비해 중첩 NER의 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 장거리 및 깊이 있는 중첩된 실체의 정위치를 향상시키기 위해 경계 정보를 어떻게 더 효과적으로 활용할 수 있는가?
• RQ3 이전에는 부정 예외로 간주되어 폐기되었던 부분 일치 스팬을 학습 중에 활용할 수 있는가? 이는 모델의 강건성 향상과 노이즈 감소에 기여하는가?
• RQ4 IoU 기반 소프트 예제 생성이 중첩 NER의 불균형한 스팬 분류 작업에서 성능 향상에 얼마나 기여하는가?
• RQ5 1단계에서 필터링과 경계 회귀를 통합함으로써 추론 시간을 크게 줄일 수 있는가? 이는 F1 스코어를 유지하거나 향상시키면서도 가능한가?

주요 결과

• 제안된 모델은 이전 최신 기술 수준의 성능을 기록한 KBP17 데이터셋에서 F1 스코어를 +3.08% 향상시켰다.
• ACE04 데이터셋에서 기존 방법 대비 F1 스코어가 +0.71% 향상되었다.
• ACE05 데이터셋에서 이전 최신 기술 수준의 모델 대비 F1 스코어가 +1.27% 향상되었다.
• 1단계에서 저품질의 시드 스팬을 필터링함으로써 추론 중 계산 비용을 줄였다.
• 학습 중 IoU 기반 소프트 예제를 사용함으로써, 양성 스팬과 부정 스팬 간의 불균형을 효과적으로 완화하고 일반화 성능을 향상시켰다.
• 경계 회귀를 스팬 분류와 통합함으로써, 기존의 스팬 기반 모델이 자주 놓치는 장거리 및 중첩된 실체의 정확한 탐지가 가능해졌다.