[논문 리뷰] SEE-Few: Seed, Expand and Entail for Few-shot Named Entity Recognition

Zeng Yang, Linhai Zhang외 1명|arXiv (Cornell University)|2022. 10. 11.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 원천 도메인 데이터가 없는 환경에서도 작동하는 새로운 다중 작업 프레임워크인 SEE-Few를 제안한다. SEE-Few는 시드 설정과 확장 과정을 통해 고품질의 후보 스패닝을 생성하고, 실체 유형과 맥락 정보를 활용하여 텍스트 추론 헤드를 사용해 스패닝을 분류함으로써, 네 가지 벤치마크 데이터셋에서 훈련부터 시작하는 설정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Few-shot named entity recognition (NER) aims at identifying named entities based on only few labeled instances. Current few-shot NER methods focus on leveraging existing datasets in the rich-resource domains which might fail in a training-from-scratch setting where no source-domain data is used. To tackle training-from-scratch setting, it is crucial to make full use of the annotation information (the boundaries and entity types). Therefore, in this paper, we propose a novel multi-task (Seed, Expand and Entail) learning framework, SEE-Few, for Few-shot NER without using source domain data. The seeding and expanding modules are responsible for providing as accurate candidate spans as possible for the entailing module. The entailing module reformulates span classification as a textual entailment task, leveraging both the contextual clues and entity type information. All the three modules share the same text encoder and are jointly learned. Experimental results on four benchmark datasets under the training-from-scratch setting show that the proposed method outperformed state-of-the-art few-shot NER methods with a large margin. Our code is available at https://github.com/unveiled-the-red-hat/SEE-Few.

연구 동기 및 목표

• 원천 도메인 데이터가 전혀 없는 도전적인 훈련부터 시작하는 설정에서 소수의 예시로 Named Entity Recognition(NER)를 해결하고자 한다.
• 모든 n-그램을 나열하는 대신, 시드 설정과 확장 과정을 통해 부정적인 스패닝 수를 줄임으로써 후보 스파닝의 품질을 향상시키고자 한다.
• 스패닝 분류 과제를 텍스트 추론 과제로 재구성함으로써 실체 유형 정보와 맥락적 단서를 더 효과적으로 활용하고자 한다.
• 공통 텍스트 인코더를 사용해 모든 구성 요소를 함께 학습함으로써 종단 간 최적화를 달성하고자 한다.
• 제거 실험과 사례 분석을 통해 각 구성 요소의 효과성을 입증하고자 한다.

제안 방법

• 시드 모듈은 교차 포지티브 영역(Intersection over Foreground, IoF)을 점수 기준으로 사용하여 고품질의 유니그램과 바이그램을 시드로 선별한다.
• 확장 모듈은 각 시드와 그 주변 맥락을 받아 이를 후보 스패닝으로 확장함으로써, 전체 나열 방식 대비 후보 수를 줄인다.
• 추론 모듈은 스패닝 분류 과제를 텍스트 추론 과제로 간주한다: 주어진 전제(문장)에 대해 'X는 PERSON이다'와 같은 가설을 평가하여 실체를 분류한다.
• 모든 세 모듈(시드, 확장, 추론)은 단일 텍스트 인코더를 공유하고 다중 작업 학습을 통해 공동으로 훈련된다.
• 모델은 시드 선택에 임계값 기반 전략을 사용하고, 국소 맥락에 따라 동적으로 확장한다.
• 모델은 시드 및 확장 과정을 통해 확보한 경계 정보와 추론을 통한 실체 유형 의미 정보를 결합하여 소수의 예시에서의 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전에 학습된 가중치나 원천 도메인 데이터 없이도 소수의 예시로 NER 모델이 뛰어난 성능을 낼 수 있는가?
• RQ2 시드 설정과 확장 과정을 통해 후보 스패닝 수를 얼마나 효과적으로 줄일 수 있으며, 진짜 실체는 유지할 수 있는가?
• RQ3 스패닝 분류 과제를 텍스트 추론 과제로 재구성함으로써 실체 유형 지식을 통합함으로써 성능 향상은 어느 정도 이루어지는가?
• RQ4 시드 설정 및 확장 단계에서 발생하는 오류가 프레임워크에 얼마나 영향을 미치는가?
• RQ5 각 구성 요소(시드, 확장, 추론)가 전체 성능에 기여하는 비율은 어느 정도인가?

주요 결과

• SEE-Few는 네 가지 벤치마크 데이터셋에서 훈련부터 시작하는 설정에서 최신 기술 수준의 소수의 예시 NER 기법을 크게 앞서는 성능을 보였다.
• 제거 실험 결과, 추론 모듈을 제거했을 때 F1 점수가 평균 12.17% 감소하여, 실체 유형과 맥락 정보를 효과적으로 활용하는 데서 이 모듈의 핵심적 역할을 입증했다.
• 시드 설정 및 확장 모듈 덕분에 후보 스패닝 수가 평균 83.5% 감소하여 부정적인 스패닝 수를 크게 줄이고 효율성을 향상시켰다.
• 시드 점수 평가에 IoU를 사용한 변형은 성능이 열악했으며, 이는 IoF가 시드 품질 평가에 더 적합한 지표임을 확인시켰다.
• 모델은 시드 설정 및 확장 단계의 오류에 대해 강건했으며, 추론 헤드가 맥락적 추론을 통해 잘못 분류된 스패닝을 수정할 수 있었다.
• 기본 모델(모든 유니그램과 바이그램을 평가) 대비 전체 모델은 28.5배 빠르게 동작하여 계산 효율성도 입증했다.