[논문 리뷰] Few-shot Named Entity Recognition with Entity-level Prototypical Network Enhanced by Dispersedly Distributed Prototypes

Bin Ji, Shasha Li외 4명|arXiv (Cornell University)|2022. 08. 17.

Topic Modeling인용 수 16

한 줄 요약

이 논문은 레이블 의존성에 대한 의존도를 제거하기 위해 토큰 수준의 프로토타입이 아닌 엔티티 수준의 프로토타입을 사용하는 few-shot named entity recognition 모델인 EP-Net을 제안한다. 거리 기반 손실을 사용해 임베딩 공간에서 분산된 분포를 보장하기 위해 프로토타입을 새로 학습하고, 스파이크를 공간 투영 네트워크를 통해 프로토타입에 정렬함으로써, EP-Net은 Few-NERD 및 도메인 전이 벤치마크에서 최신 기술 수준의 성능을 달성하며, 아블레이션 연구에서 이전 모델 대비 최대 9.6% F1 점수 향상을 보였다.

ABSTRACT

Few-shot named entity recognition (NER) enables us to build a NER system for a new domain using very few labeled examples. However, existing prototypical networks for this task suffer from roughly estimated label dependency and closely distributed prototypes, thus often causing misclassifications. To address the above issues, we propose EP-Net, an Entity-level Prototypical Network enhanced by dispersedly distributed prototypes. EP-Net builds entity-level prototypes and considers text spans to be candidate entities, so it no longer requires the label dependency. In addition, EP-Net trains the prototypes from scratch to distribute them dispersedly and aligns spans to prototypes in the embedding space using a space projection. Experimental results on two evaluation tasks and the Few-NERD settings demonstrate that EP-Net consistently outperforms the previous strong models in terms of overall performance. Extensive analyses further validate the effectiveness of EP-Net.

연구 동기 및 목표

• 부족한 레이블 데이터로 인해 레이블 전이 확률이 근사적으로 추정되는 경우, 기존 프로토타입 네트워크의 한계, 특히 레이블 의존성에 대한 의존도를 해결하기 위해.
• 임베딩 공간에서 밀집된 클러스터를 형성하는 프로토타입 문제를 해결하기 위해.
• 토큰 수준에서 엔티티 수준의 프로토타입 학습으로 전환함으로써 레이블 의존성의 필요성을 제거하기 위해.
• 분산을 명시적으로 고려하여 프로토타입을 새로 학습하는 방법을 개발하여 분류의 강건성을 향상시키기 위해.
• 딥 네ural 네트워크 투영층을 통해 스파이크 표현과 프로토타입 임베딩 간의 정렬을 보장하기 위해.

제안 방법

• EP-Net은 토큰 수준의 프로토타입이 아닌 엔티티 수준의 프로토타입을 구성하여, 레이블 전이 의존성 없이도 스파이크를 직접 엔티티로 분류할 수 있도록 한다.
• 프로토타입은 임베딩 공간에서 분산된 분포를 강제하기 위해 거리 기반 손실 $\mathcal{L}_d$ 를 사용해 새로 학습한다.
• 스파이크 표현은 깊은 신경망을 통해 프로토타입 임베딩 공간으로 매핑되어 스파이크와 프로토타입 간의 정렬 편향을 제거한다.
• 모델은 스파이크 표현과 프로토타입 간의 유사도를 측정하기 위해 유클리드 거리를 사용하며, 아블레이션 연구에서 코사인 유사도보다 성능이 뛰어나다.
• 공간 투영 메커니즘은 스파이크와 프로토타입을 동일한 임베딩 공간에 정렬하여, 유사도 매칭 정확도를 향상시킨다.
• 모델은 Few-NERD, 태그 세트 확장, 도메인 전이 작업에서 1-shot 설정에서 평가되며, 아블레이션 연구를 통해 각 구성 요소의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 엔티티 수준의 프로토타입이 레이블 전이 확률이 잘 추정되지 않는 상황에서, 특히 레이블 의존성의 필요성을 제거할 수 있는가?
• RQ2 분산 손실을 사용해 프로토타입을 새로 학습하면 더 나은 프로토타입 분포를 얻고 오분류를 줄일 수 있는가?
• RQ3 투영 네트워크를 통해 스파이크 표현을 프로토타입 임베딩에 정렬하는 방법이 분류 성능에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크에서 스파이크-프로토타입 매칭에 유클리드 거리와 코사인 유사도를 사용할 경우 성능에 어떤 영향을 미치는가?
• RQ5 EP-Net의 개별 구성 요소(엔티티 수준의 프로토타입, 프로토타입 학습, 거리 측정 기준)가 전체 성능 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• EP-Net은 1-shot Group A 실험에서 기존 프로토타입을 사용하는 기준 모델인 CP-Net 대비 F1 점수를 9.6% 절대적으로 향상시켜, 분산된 분포를 가진 프로토타입의 효과를 입증했다.
• t-SNE 시각화 결과 EP-Net은 동일한 엔티티 유형의 스파이크 표현을 군집화하고 다른 클래스를 명확히 분리하는 것으로 나타나, 더 나은 결정 경계 학습을 의미한다.
• 아블레이션 연구에서 엔티티 수준의 프로토타입을 제거하면 F1 점수가 5.1–7.2% 감소하여, 레이블 의존성 제거에 있어 그들의 핵심적인 역할을 확인했다.
• 프로토타입 학습 손실 $\mathcal{L}_d$ 를 제거하면 F1 점수가 5.8–11.8% 감소하여, 분산된 프로토타입 분포가 성능에 필수적임을 입증했다.
• 유클리드 거리를 유사도 측정에 사용할 경우 코사인 유사도보다 더 좋은 성능을 보였으며, 여러 설정에서 F1 점수를 4.0–5.0% 향상시켰다.
• 히트맵 시각화 결과 EP-Net의 프로토타입은 기존 프로토타입보다 더 넓게 산산이 흩어져 있고 'None' 클래스로부터도 더 잘 분리되어 있어 혼동을 줄였다.