[논문 리뷰] Simple and Effective Few-Shot Named Entity Recognition with Structured Nearest Neighbor Learning

Yi Yang, Arzoo Katiyar|arXiv (Cornell University)|2020. 10. 06.

Topic Modeling참고 문헌 20인용 수 14

한 줄 요약

이 논문은 구조적 표본 추출(StructShot)을 제안하며, 이는 지도 학습 기반 NER 모델을 사용해 문맥적 표현을 추출하고, 특징 공간에서 최근접 이웃 분류를 적용하며, 레이블 의존성을 모델링하기 위해 비터비 디코딩을 결합하는 단순한 few-shot NER 시스템이다. 이는 메타학습 기반 보다 F1 점수를 6%에서 16%까지 절대적 점수로 향상시키며 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We present a simple few-shot named entity recognition (NER) system based on nearest neighbor learning and structured inference. Our system uses a supervised NER model trained on the source domain, as a feature extractor. Across several test domains, we show that a nearest neighbor classifier in this feature-space is far more effective than the standard meta-learning approaches. We further propose a cheap but effective method to capture the label dependencies between entity tags without expensive CRF training. We show that our method of combining structured decoding with nearest neighbor learning achieves state-of-the-art performance on standard few-shot NER evaluation tasks, improving F1 scores by $6\%$ to $16\%$ absolute points over prior meta-learning based systems.

연구 동기 및 목표

• 메타학습 접근법이 few-shot NER에서 O(외부) 클래스를 다루는 데에 한계를 보이는 점과 레이블 의존성을 모델링하는 데에 어려움을 해결하기 위해.
• 메타학습이나 에피소드 기반 학습이 필요 없는 단순하고 효과적인 few-shot NER 시스템을 개발하기 위해.
• 기본 벤치마크 데이터셋의 표준 개발 및 테스트 세트를 사용해 few-shot NER에 대한 표준화된 평가 설정을 제안하기 위해.
• 클래스 수준의 프로토타입 대신 인스턴스 수준의 표현을 활용해 제로샷 및 few-shot 일반화 성능을 향상시키기 위해.
• 딥 페처 공간에서의 최근접 이웃 분류가 특히 O 클래스에 대해 프로토타입 네트워크보다 더 효과적임을 입증하기 위해.

제안 방법

• 시스템은 소스 도메인에서 미세조정된 사전 학습된 지도 학습 기반 NER 모델(예: BERT)을 사용해 문맥적 토큰 표현을 추출한다.
• 추론 과정에서 각 테스트 토큰은 문맥적 표현 공간에서 코사인 유사도 기반으로 지원 세트 내에서 가장 가까운 이웃을 찾아 분류한다.
• 레이블 의존성은 최근접 이웃 예측에 비터비 디코더를 적용하여 전역적으로 일관된 시퀀스 레이블링을 보장함으로써 모델링된다.
• 이 방법은 클래스 프로토타입을 학습하지 않고, 대신 각 지원 예제를 대표 인스턴스로 간주함으로써 O 클래스 내의 의미 다양성을 더 잘 포착한다.
• 이 방법은 한 개 또는 다섯 개의 샘플을 사용하는 도메인 내 및 도메인 외 few-shot NER 설정 모두에 적용된다.
• 표준화된 평가 프로토콜이 도입되며, 지원 세트는 표준 개발 세트에서 샘플링되고, 모델은 표준 테스트 세트에서 평가된다.

실험 결과

연구 질문

• RQ1 딥 페처 공간에서의 최근접 이웃 분류가 메타학습 방법보다 few-shot NER에서 더 우수한 성능을 낼 수 있는가?
• RQ2 기존의 메타학습 접근법이 왜 few-shot NER에서 O 클래스를 다루는 데에 어려움을 겪는가?
• RQ3 구조적 디코딩은 시퀀스 레이블링 작업에서 인스턴스 기반 분류의 성능을 향상시킬 수 있는가?
• RQ4 메타학습이나 에피소드 기반 적응 없이 최신 기술 수준의 few-shot NER 성능을 달성할 수 있는가?
• RQ5 O 클래스가 의미적으로 다형성이 높을 경우, 최근접 이웃 학습의 성능가 프로토타입 네트워크와 비교해 어떻게 되는가?

주요 결과

• StructShot는 표준 벤치마크에서 기존 메타학습 기반 few-shot NER 시스템보다 F1 점수를 6%에서 16%까지 절대적 점수로 향상시켰다.
• 최근접 이웃 분류기는 O 클래스 예측에서 프로토타입 네트워크보다 뚜렷이 뛰어나며, 의미적으로 다양성이 높은 O 토큰에 대해 노이즈가 많은 통합 프로토타입을 학습하는 것을 방지한다.
• I2B2 및 WNUT 데이터셋에서 StructShot는 다섯 개 샘플 설정에서 DATE에 대해 66.1 F1, person에 대해 57.8 F1을 기록하며 이전 방법들을 능가했다.
• AGE, MED-REC, IDNUM와 같이 모두 숫자인 매우 모호한 클래스에서는 어려움을 겪었으며, 이는 도메인 특화된 신호가 필요함을 시사한다.
• PATIENT 및 DOCTOR와 같은 클래스에서는 겹치는 의미적 신호로 인해 오분류가 발생했으며, 'Dr.'와 같은 표면 형태가 분류 해독에 도움이 될 수 있음을 시사한다.
• 이 방법은 도메인 간 일반화 성능이 뛰어나며, 도메인 내 및 도메인 외 few-shot NER 전이 설정 모두에서 뛰어난 성능을 보였다.