[논문 리뷰] Few-Shot Nested Named Entity Recognition

Ming Hong, Jiaoyun Yang외 3명|arXiv (Cornell University)|2022. 12. 02.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 소수의 레이블된 데이터로도 네스티드 명명된 엔터티를 인식할 수 있도록 스파닝 의존성 표현과 대비 학습을 활용한 Biaffine 기반 대비 학습(BCL) 프레임워크를 제안한다. 이 방법은 영어, 독어, 러시아어 데이터셋에서 소수의 예시(5-shot 설정)에서 기존 베이스라인 대비 최대 5.57%의 F1 점수 향상으로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

While Named Entity Recognition (NER) is a widely studied task, making inferences of entities with only a few labeled data has been challenging, especially for entities with nested structures. Unlike flat entities, entities and their nested entities are more likely to have similar semantic feature representations, drastically increasing difficulties in classifying different entity categories in the few-shot setting. Although prior work has briefly discussed nested structures in the context of few-shot learning, to our best knowledge, this paper is the first one specifically dedicated to studying the few-shot nested NER task. Leveraging contextual dependency to distinguish nested entities, we propose a Biaffine-based Contrastive Learning (BCL) framework. We first design a Biaffine span representation module for learning the contextual span dependency representation for each entity span rather than only learning its semantic representation. We then merge these two representations by the residual connection to distinguish nested entities. Finally, we build a contrastive learning framework to adjust the representation distribution for larger margin boundaries and more generalized domain transfer learning ability. We conducted experimental studies on three English, German, and Russian nested NER datasets. The results show that the BCL outperformed three baseline models on the 1-shot and 5-shot tasks in terms of F1 score.

연구 동기 및 목표

• 소수의 레이블된 예시만 존재할 때 네스티드 명명된 엔터티를 인식하는 데 도전하는 것.
• 저자원 환경에서 공유된 의미적 표현으로 인해 네스티드 엔터티를 구분하는 데 어려움을 해결하는 것.
• 더 구분력 있는 스팬 표현을 학습함으로써 소수의 예시 학습에서 일반화 능력과 도메인 전이 성능을 향상시키는 것.
• 레이블 공간이 일관되지 않은 도메인 간 전이 학습에서의 레이블 불일치 문제를 완화하는 것.
• 제안된 프레임워크가 다국어 네스티드 NER 데이터셋에서 효과적으로 작동하는지 검증하는 것.

제안 방법

• 스패닝 내외의 단어 간 문맥적 의존 패턴을 학습하기 위해 Biaffine 스팬 표현 모듈을 설계하였다.
• 잔차 연결을 통해 단어 수준의 의미 표현과 스팬 수준의 의존성 표현을 융합하여 구분력 있는 표현을 향상시켰다.
• 대비 학습 목표로 원형 손실(Circle loss)을 적용하여 양성 스팬 쌍을 서로 멀리 떼어내고 표현 공간에서 마진 경계를 증가시켰다.
• 다국어 사전 훈련된 언어 모델(BERT-base-multilingual)을 사용해 다국어 간 전이 및 도메인 적응을 수행하였다.
• 모델은 각 엔터티 유형당 1~5개의 레이블된 예시로 구성된 지원 세트를 사용해 엔드 투 엔드로 훈련되며, 쿼리 세트에서 추론이 수행된다.
• 대비 손실에 바이어스 항목을 도입하여 가장 비슷하지 않은 양성 스팬 쌍에 더 주목함으로써 표현 학습을 향상시켰다.

(a) Example of a sentence with nested entities.

실험 결과

연구 질문

• RQ1 소수의 레이블된 예시(1개 또는 몇 개)만 존재할 때 소수의 예시 학습 프레임워크가 네스티드 명명된 엔터티를 효과적으로 인식할 수 있는가?
• RQ2 스패닝 수준의 의존성 표현은 저자원 환경에서 네스티드 엔터티와 평탄한 엔터티를 어떻게 더 잘 구분하는가?
• RQ3 마진 기반 손실을 사용한 대비 학습은 소수의 예시 학습에서 일반화 능력과 도메인 전이 능력을 얼마나 향상시키는가?
• RQ4 Biaffine 아키텍처와 잔차 연결의 통합은 네스티드 엔터티 인식 성능에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 특히 인도·계열어족 언어 간에 일반화 가능한가?

주요 결과

• BCL 프레임워크는 영어, 독어, 러시아어 데이터셋에서 1-shot 및 5-shot 설정 모두에서 세 가지 베이스라인 모델을 모두 초월하며, GENIA 데이터셋에서 5-shot 설정에서 기존 베이스라인 대비 절대 F1 점수 5.57% 향상되었다.
• 제거 실험 결과 Biaffine 레이어가 성능 향상에 가장 기여하였으며, 1-shot 및 5-shot 설정에서 각각 F1 점수 1.73% 및 5.57% 향상되었다.
• 의미 표현과 의존성 표현 간 잔차 연결을 제거하면 1-shot 및 5-shot 설정에서 각각 F1 점수 1.76% 및 1.29% 감소하여 표현 융합에서의 중요성을 입증하였다.
• 대비 손실에 바이어스 항목을 포함시켰을 때 1-shot 및 5-shot 설정에서 각각 F1 점수 1.38% 및 2.05% 향상되어 어려운 양성 쌍에 더 집중함으로써 표현 학습이 향상됨을 보여주었다.
• 다국어 BERT 모델을 사용했을 때 영어 데이터셋에서는 케이스가 있는 영어 BERT보다 약간 낮은 성능을 보였지만, 그 차이는 미미하여 다국어 모델이 다국어 간 전이에 적합함을 뒷받침한다.
• 평탄한 NER 벤치마크에서는 경쟁력 있는 성능을 달성하였으며, 특히 5-shot 설정에서 뛰어난 성능을 보였지만, 1~2-shot 설정에서는 긍정 샘플이 부족해 분포 학습에 어려움을 겪어 성능 격차가 발생하였다.

(b) Span representations from BERT model (left) and BCL model (right).