[논문 리뷰] A Span-Based Model for Joint Overlapped and Discontinuous Named Entity Recognition

Fei Li, Zhichao Lin외 2명|arXiv (Cornell University)|2021. 06. 28.

Topic Modeling참고 문헌 58인용 수 5

한 줄 요약

이 논문은 BERT와 엔티티 조각 간의 관계 분류를 사용하여 겹치는 것과 끊어진 명명된 엔티티를 동시에 공동으로 인식하기 위한 새로운 스파닝 기반 모델을 제안한다. 작업을 관계 추출 문제로 간주하여, 쌍을 이루는 스파닝이 겹치는지 또는 연속적인지 분류함으로써, CLEF, GENIA, ACE05 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 오류 전파 없이 복잡한 엔티티 구조를 효과적으로 처리하는 것으로 입증된다.

ABSTRACT

Research on overlapped and discontinuous named entity recognition (NER) has received increasing attention. The majority of previous work focuses on either overlapped or discontinuous entities. In this paper, we propose a novel span-based model that can recognize both overlapped and discontinuous entities jointly. The model includes two major steps. First, entity fragments are recognized by traversing over all possible text spans, thus, overlapped entities can be recognized. Second, we perform relation classification to judge whether a given pair of entity fragments to be overlapping or succession. In this way, we can recognize not only discontinuous entities, and meanwhile doubly check the overlapped entities. As a whole, our model can be regarded as a relation extraction paradigm essentially. Experimental results on multiple benchmark datasets (i.e., CLEF, GENIA and ACE05) show that our model is highly competitive for overlapped and discontinuous NER.

연구 동기 및 목표

• 시퀀스 레이블링 및 그래프 기반 모델이 동시에 겹치는 것과 끊어진 명명된 엔티티를 다루는 데에 한계를 보이는 문제를 해결하기 위해.
• 복잡한 그래프 구조나 전이 시스템에 의존하지 않고 순수하게 스파닝 기반의 종단 간 프레임워크를 사용하여 오류 전파를 제거하고 수동 설계를 줄이기 위해.
• 엔티티 조각과 그 관계를 공동으로 모델링하여 복잡한 엔티티 구조의 인식을 향상시키기 위해.
• 구문 구조 유도 GCN과 관계 분류의 성능 향상 효과를 벤치마크 데이터셋에서 평가하기 위해.

제안 방법

• 모델은 문장 내 가능한 모든 텍스트 스파닝을 먼저 식별하고, BERT 기반의 문맥 표현을 사용하여 각 스파닝을 잠재적인 엔티티 조각으로 분류한다.
• 그 후, 모든 조각 쌍에 대해 이진 분류를 수행하여 겹치는 관계 또는 연속적인(끊어진) 관계를 형성하는지 결정한다.
• 스파닝 표현에 문법 정보를 통합하기 위해 종속성 유도 그래프 컬러션 네트워크(GCN)를 사용한다.
• 관계 예측은 분류 작업으로 설정되며, 두 조각은 '겹침' 또는 '연속성'으로 레이블링된다.
• 최종 예측은 관계 점수에 기반하여 호환 가능한 조각 쌍을 병합하여 모든 엔티티 유형의 공동 인식을 가능하게 한다.
• 전체 파ip라인은 스파닝 분류와 관계 예측에 대한 교차 엔트로피 손실을 사용해 종단 간으로 훈련된다.

실험 결과

연구 질문

• RQ1 복잡한 그래프 구조나 전이 시스템에 의존하지 않고도 스파닝 기반 모델이 겹치는 것과 끊어진 명명된 엔티티를 동시에 공동으로 인식할 수 있는가?
• RQ2 조각 간 관계(겹침 대 비연속성)를 모델링하면 어떤 복잡한 엔티티 유형의 인식이 어떻게 향상되는가?
• RQ3 의존성 구문 분석에서 유도된 구문 특징이 공동 NER 성능 향상에 어느 정도 기여하는가?
• RQ4 혼합된 엔티티 유형(일반, 겹침, 끊어짐)을 포함한 데이터셋에서 최신 기술 수준 모델과 비교해 모델 성능은 어떻게 되는가?

주요 결과

• ACE05에서 83.0% F1, CLEF에서 82.4% F1을 기록하여, 이 벤치마크에서 하이퍼그래프 및 전이 기반 모델을 능가하는 성능을 달성했다.
• GENIA에서는 77.8% F1을 기록하여 코어퍼런스 해상도나 다중 임베딩 융합을 사용하지 않음에도 불구하고 최신 기술 수준 모델과 동등하거나 이를 초월했다.
• 의존성 유도 GCN은 평균 0.4% 향상으로 성능 향상을 보이며, 스파닝 표현에 구문 정보가 유의미하게 기여함을 입증했다.
• 겹침 관계 분류기가 정규 및 겹치는 엔티티만 포함된 데이터셋에서도 긍정적인 기여를 하여 일반화된 유용성을 보였다.
• 모든 엔티티 유형을 종합적으로 고려할 때, 공동 인식에서 재현율이 크게 향상되어 F1이 0.8% 향상되었다.
• 끊어진 엔티티에서는 약간 전이 기반 모델에 열등했지만, 모든 엔티티 유형에서 강력한 성능 유지를 보이며 상호 보완적인 강점을 보였다.