[논문 리뷰] Zero-Shot Learning in Named-Entity Recognition with External Knowledge

Nguyen Van Hoang, Soeren Hougaard Mulvad외 2명|arXiv (Cornell University)|2021. 11. 15.

Topic Modeling참고 문헌 7인용 수 6

한 줄 요약

이 논문은 사전 훈련된 단어 임베딩(GloVe, ConceptNet Numberbatch)과 LUKE의 문맥적 표현을 활용하여 타겟 도메인에서의 미세조정 없이도 엔티티를 분류할 수 있는 zero-shot 및 few-shot named-entity recognition 모델 ZERO를 제안한다. 이 모델은 zero-shot 학습에서 평균 매크로 F1 점수 0.23을 기록하며, few-shot 설정에서는 LUKE를 크게 앞서며, 소스 도메인과 타겟 도메인 간 KL 발산과 반비례하는 성능을 보인다.

ABSTRACT

A significant shortcoming of current state-of-the-art (SOTA) named-entity recognition (NER) systems is their lack of generalization to unseen domains, which poses a major problem since obtaining labeled data for NER in a new domain is expensive and time-consuming. We propose ZERO, a model that performs zero-shot and few-shot learning in NER to generalize to unseen domains by incorporating pre-existing knowledge in the form of semantic word embeddings. ZERO first obtains contextualized word representations of input sentences using the model LUKE, reduces their dimensionality, and compares them directly with the embeddings of the external knowledge, allowing ZERO to be trained to recognize unseen output entities. We find that ZERO performs well on unseen NER domains with an average macro F1 score of 0.23, outperforms LUKE in few-shot learning, and even achieves competitive scores on an in-domain comparison. The performance across source-target domain pairs is shown to be inversely correlated with the pairs' KL divergence.

연구 동기 및 목표

• 높은 레이블링 비용으로 인해 NER 모델의 일반화 성능이 떨어지는 문제를 해결하기 위해.
• 타겟 도메인에서 레이블 데이터가 필요 없이 zero-shot 및 few-shot 학습을 가능하게 하기 위해.
• 단어 임베딩을 통한 외부 의미 지식 통합을 통해 cross-domain NER 성능을 향상시키기 위해.
• 도메인 유사도(즉, KL 발산으로 측정)가 zero-shot 전이 성능에 미치는 영향을 평가하기 위해.
• 낮은 데이터 또는 새로운 도메인에서 NER에 대해 미세조정의 실용적이고 자원이 적은 대안을 제공하기 위해.

제안 방법

• 모델은 입력 토큰과 엔티티에 대해 LUKE를 사용해 문맥적 표현을 생성한다.
• 각 토큰의 표현을 외부 지식에서 사전 훈련된 레이블 임베딩(GloVe 또는 ConceptNet Numberbatch)과의 내적곱을 통해 레이블 공간으로 매핑한다.
• 최종 예측은 토큰 표현과 레이블 임베딩 간 내적곱 점수가 가장 높은 레이블이다.
• 외부 임베딩과의 비교 이전에 LUKE의 출력 표현에 차원 축소를 적용한다.
• 소스-타겟 도메인 전이 쌍 간의 매크로 F1 점수를 사용해 성능을 평가한다.
• 도메인 분포 간 KL 발산을 계산하고, 모델 성능와 상관관계를 분석하여 전이 가능성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 레이블 훈련 예제가 전혀 없는 상태에서 NER 모델이 새로운 도메인에서 경쟁적인 성능을 달성할 수 있는가?
• RQ2 외부 지식(단어 임베딩) 통합이 zero-shot 및 few-shot NER 성능에 어떤 영향을 미치는가?
• RQ3 KL 발산으로 측정된 도메인 유사도가 zero-shot NER 전이 성공 여부를 얼마나 잘 예측할 수 있는가?
• RQ4 제한된 타겟 도메인 데이터를 가진 few-shot 학습 시나리오에서 ZERO는 LUKE보다 어떻게 비교되는가?
• RQ5 모델은 감독 기반 기준 모델인 LUKE와 유사한 도메인 내 성능을 달성할 수 있는가?

주요 결과

• ZERO는 새로운 도메인에서 zero-shot 학습에서 평균 매크로 F1 점수 0.2323을 기록하여, 레이블 데이터 없이도 가능성을 입증하였다.
• few-shot 학습에서 ZERO는 LUKE를 크게 앞서며, 엔티티당 하나의 레이블 예제만으로도 매크로 F1 점수 0.5507을 기록한 반면, LUKE는 0.0에 머물렀다.
• 모델의 cross-domain 전이 성능는 소스 도메인과 타겟 도메인 간 KL 발산과 반비례하며, 결정계수 R²는 0.19였다.
• 도메인 내 평가에서 ZERO는 경쟁적인 성능를 기록하였으며, 음악 도메인을 제외하고는 AI, 문학, 과학 도메인에서 LUKE와 유사한 성능를 보였다.
• 모델는 강력한 few-shot 일반화 능력을 보였으며, 레이블당 하나의 예제가 주어졌을 때 zero-shot 성능보다 F1 점수 0.2766 포인트 향상되었다.
• 다소 유망한 결과에도 불구하고, 환자 기록의 탈식별화와 같은 고위험 응용 분야에서는 낮은 F1 점수로 인해 성능가 부족한 편이다.