[논문 리뷰] A Unified Generative Framework for Various NER Subtasks

Hang Yan, Tao Gui외 4명|arXiv (Cornell University)|2021. 06. 02.

Topic Modeling참고 문헌 64인용 수 4

한 줄 요약

이 논문은 포인터 메커니즘을 갖춘 시퀀스 톱시퀀스 모델을 사용하여 NER를 엔티티 스팬 시퀀스 생성 문제로 공식화함으로써 평탄한, 중첩된, 끊어진 NER 하위 작업을 위한 통합 생성 프레임워크를 제안한다. 사전 훈련된 BART 모델과 세 가지 엔티티 표현 전략(단어, BPE, 스팬)을 활용하여, 작업별 태깅 스키마나 스팬 열거 없이 여덟 개인 영어 NER 데이터셋에서 최고 수준 또는 최고 수준에 가까운 성능을 달성한다.

ABSTRACT

Named Entity Recognition (NER) is the task of identifying spans that represent entities in sentences. Whether the entity spans are nested or discontinuous, the NER task can be categorized into the flat NER, nested NER, and discontinuous NER subtasks. These subtasks have been mainly solved by the token-level sequence labelling or span-level classification. However, these solutions can hardly tackle the three kinds of NER subtasks concurrently. To that end, we propose to formulate the NER subtasks as an entity span sequence generation task, which can be solved by a unified sequence-to-sequence (Seq2Seq) framework. Based on our unified framework, we can leverage the pre-trained Seq2Seq model to solve all three kinds of NER subtasks without the special design of the tagging schema or ways to enumerate spans. We exploit three types of entity representations to linearize entities into a sequence. Our proposed framework is easy-to-implement and achieves state-of-the-art (SoTA) or near SoTA performance on eight English NER datasets, including two flat NER datasets, three nested NER datasets, and three discontinuous NER datasets.

연구 동기 및 목표

• 단일 프레임워크로 해결할 수 있는 평탄한, 중첩된, 끊어진 NER 하위 작업에 대한 통합 접근 방식의 부족을 해결하기 위해.
• NER 모델에서 작업별 태깅 스키마나 스팬 열거가 필요 없도록 하기 위해.
• BART와 같은 사전 훈련된 시퀀스 톱시퀀스 모델이 다양한 NER 하위 작업에 효과적으로 활용될 수 있는지 탐색하기 위해.
• 다양한 엔티티 표현 전략(단어, BPE, 스팬)이 모델 성능에 미치는 영향을 평가하기 위해.
• 단일 생성 모델이 겹치는, 끊어진, 교차하는 엔티티 구조를 모두 처리할 수 있음을 보여주기 위해.

제안 방법

• 모델이 엔티티 포인터 인덱스 시퀀스를 생성하도록 NER를 시퀀스 톱시퀀스 생성 작업으로 공식화한다.
• 입력 문장에서 직접 엔티티 스팬을 생성하기 위해 사전 훈련된 BART 모델 내에 포인터 네트워크를 사용한다.
• 세 가지 엔티티 표현 방법을 제안한다: 단어(단어 수준), BPE(서브워드 수준), 스팬(시작-끝 인덱스 쌍)로 엔티티를 시퀀스로 선형화한다.
• 생성된 엔티티 인덱스 시퀀스에 대해 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 맥락 표현 학습을 향상시키고 일반화 성능을 향상시키기 위해 사전 훈련된 BART를 통합한다.
• 최종 엔티티 스팬 목록을 생성하기 위해 빔 서치를 사용한 추론 디코딩을 적용한다.

실험 결과

연구 질문

• RQ1 아키텍처나 태깅 스키마 수정 없이도 단일 생성 시퀀스 톱시퀀스 모델이 평탄한, 중첩된, 끊어진 NER 하위 작업을 효과적으로 처리할 수 있는가?
• RQ2 다양한 엔티티 표현 전략(단어, BPE, 스팬)이 다양한 NER 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ3 BART와 같은 사전 훈련된 시퀀스 톱시퀀스 모델이 여러 NER 하위 작업에서 성능을 향상시키는 데 얼마나 효과적으로 활용될 수 있는가?
• RQ4 모델은 끊어진 엔티티나 교차 엔티티와 같은 드문 복잡한 구조에 대해 강력한 재현율을 유지하는가?
• RQ5 출력 시퀀스에서 엔티티 예측 순서가 재현율 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 통합 생성 프레임워크는 두 개의 평탄한, 세 개인 중첩된, 세 개인 끊어진 NER 데이터셋 포함 여덟 개의 다양한 영어 NER 데이터셋에서 최고 수준 또는 최고 수준에 가까운 성능을 달성한다.
• Genia 데이터셋에서 '스패너' 표현 방식이 다른 것들보다 우수한 성능을 보였는데, 이는 BPE 토크나이저와의 더 나은 정렬과 엔티티 스팬의 분할 감소로 인한 것으로 보인다.
• ShARe13에서 끊어진 엔티티에 대해 55.0 F1을 기록했고, ShARe14에서는 52.7 F1을 기록하여 이들 드문 복잡한 케이스에서 이전 방법들을 능가했다.
• 잘못된 예측(예: 비연속적이거나 손상된 인덱스)은 1% 미만의 경우에 발생하며, 평가 시 이를 제외하더라도 전체 성능에 영향을 주지 않는다.
• 평탄하고 끊어진 NER의 경우, 출력 시퀀스에서 후반에 나타나는 엔티티일수록 더 높은 확률로 재현되므로 상호 엔티티 의존성이 낮아 보인다.
• 중첩 NER의 경우 재현 곡선이 더 복잡한데, 이는 바깥쪽 엔티티가 올바르게 예측된 내부 엔티티에 의존하는 계층적 의존성 때문일 것이다.