[논문 리뷰] Prompt-Learning for Fine-Grained Entity Typing

Ning Ding, Yulin Chen외 7명|arXiv (Cornell University)|2021. 08. 24.

Topic Modeling인용 수 44

한 줄 요약

요약: 이 논문은 프롬프트 학습이 완전 감독, 소수 샷, 제로 샷 설정에서 미세한 엔티티 타입 지정(fine-grained entity typing)을 수행하는 데 어떻게 사용될 수 있는지 연구하고, 특히 제한된 데이터일 때 일반적인 미세조정(vanilla fine-tuning)보다 개선점을 보임을 보여준다.

ABSTRACT

As an effective approach to tune pre-trained language models (PLMs) for specific tasks, prompt-learning has recently attracted much attention from researchers. By using extit{cloze}-style language prompts to stimulate the versatile knowledge of PLMs, prompt-learning can achieve promising results on a series of NLP tasks, such as natural language inference, sentiment classification, and knowledge probing. In this work, we investigate the application of prompt-learning on fine-grained entity typing in fully supervised, few-shot and zero-shot scenarios. We first develop a simple and effective prompt-learning pipeline by constructing entity-oriented verbalizers and templates and conducting masked language modeling. Further, to tackle the zero-shot regime, we propose a self-supervised strategy that carries out distribution-level optimization in prompt-learning to automatically summarize the information of entity types. Extensive experiments on three fine-grained entity typing benchmarks (with up to 86 classes) under fully supervised, few-shot and zero-shot settings show that prompt-learning methods significantly outperform fine-tuning baselines, especially when the training data is insufficient.

연구 동기 및 목표

• 프롬프트 학습을 활용해 PLM을 미세한 엔티티 타입 지칭으로 자극하는 동기를 제공한다.
• 엔티티 지향 레이블과 템플릿으로 간단한 프롬프트 학습 파이프라인을 개발한다.
• 데이터가 부족한 상황에서 감독 학습 프롬프트 학습과 자기지도 프롬프트 학습을 모두 조사한다.
• 완전 감독, 소수 샷, 제로 샷 설정에서 세 가지 벤치마크에 대한 성능을 평가한다.

제안 방법

• 프롬프트 템플릿과 레이블 단어를 사용해 엔티티 타입 지정을 클로즈(cloze)-스타일 태스크로 형식화한다.
• 엔티티 지향 레이블 단어 집합 V*를 구성하고 y의 조건부 확률 P(y|x)를 V_y의 w에 대해 P([MASK] = w|T(x))의 평균으로 계산한다.
• 하드 인코딩 T1–T3 및 소프트 인코딩 T4 프롬프트를 탐색해 PLM에 프롬프트를 구체화한다.
• 교차 엔트로피 손실 L = -log P(y|x; θ, φ)를 사용해 M을 학습하고 프롬프트 매개변수 φ를 M과 함께 공동으로 최적화한다.
• 레이블 단어 집합 V* 간의 분포를 양의 문장 쌍과 음의 문장 쌍을 사용해 대조(contrastive) 방식으로 비교함으로써 제로샷 타이핑을 위한 자기지도 프롬프트 학습 방법을 제안한다.
• 제한된 데이터 상황에서 유사한 엔티티에 대한 분포를 정렬하여 제로샷 타이핑에서의 개선을 가능하게 하는 Jensen-Shannon 발산을 이용한 분포 유사성 측정 및 대조적(contrastive-like) 목적 함수로 최적화한다.
• 자체 연결된 엔터티 서지에서 약 1M 개의 양성 및 음성 샘플로 구성된 데이터셋을 사용해 자기지도 학습을 수행한다.

실험 결과

연구 질문

• RQ1 프롬프트 학습이 완전 감독 체제에서 vanilla 미세조정보다 미세한 엔티티 타입 지정에서 더 좋은 성능을 낼 수 있는가?
• RQ2 하드 인코딩 템플릿(T3)과 소프트 인코딩 템플릿(T4)이 데이터셋에 따라 효과에 차이가 있는가?
• RQ3 프롬프트 학습은 기존의 미세조정에 비해 소샷에서 이점을 제공하는가?
• RQ4 unlabeled 데이터를 활용한 자기지도 프롬프트 학습으로 제로샷 엔티티 타입 지정이 가능한가?
• RQ5 계층적 타입 집합에서 엔티티 속성 탐지에 대한 프롬프트 학습의 특성과 한계는 무엇인가?

주요 결과

Dataset	Acc (FT)	Acc (Plet H)	Acc (Plet S)	MiF (FT)	MiF (Plet H)	MiF (Plet S)	MaF (FT)	MaF (Plet H)	MaF (Plet S)
Few-NERD	79.75	79.90	79.86	85.74	85.84	85.76	85.74	85.84	85.76
OntoNotes	59.71	60.37	65.68	70.47	70.78	74.53	76.57	76.42	79.77
BBN	62.39	65.92	63.11	68.88	71.55	68.68	67.37	70.82	67.81

• 프롬프트 기반 방법은 데이터 가용성에 따라 다양한 설정에서 vanilla 미세조정보다 성능이 우수하다.
• 하드 인코딩 템플릿(T3)과 소프트 인코딩 템플릿(T4) 모두 미세조정보다 성능을 개선하며 데이터셋에 따라 선호도가 다르다.
• 완전 감독 설정에서 Plet(하드) 및 Plet(소프트)는 Few-NERD, OntoNotes, 및 BBN에서 정확도 및 macro/micro F1 점수를 더 높게 나타낸다.
• 제로샷 및 소샷 시나리오에서 프롬프트 학습의 이점이 두드러지며 특히 OntoNotes 및 Few-NERD에서 큰 향상을 보인다.
• 자기지도 프롬프트 학습은 명시적 레이블 없이도 유사 엔티티의 레이블 단어 분포를 정렬함으로써 제로샷 타이핑에서의 개선을 가능하게 한다.