[논문 리뷰] Probing Pre-trained Auto-regressive Language Models for Named Entity Typing and Recognition

Elena V. Epure, Romain Hennequin|arXiv (Cornell University)|2021. 08. 26.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 피팅 트레이닝 없이 GPT-2와 같은 자동 순차 언어 모델에서 제로샷 명명된 실체 타이핑( NET )과 피처샷 명명된 실체 인식( NER )을 평가하기 위한 새로운 프로빙 방법론을 제안한다. 메타러닝과 새로운 기억 저장 평가 기법을 활용하여, GPT-2가 일반적이고 기억된 실체에서 잘 작동하며, 이름의 비정규성이 중요한 단서로 작용하는 것으로 밝혀졌고, 소수의 예시를 제공하는 경우 문맥의 영향은 제한적임을 확인하였다.

ABSTRACT

Despite impressive results of language models for named entity recognition (NER), their generalization to varied textual genres, a growing entity type set, and new entities remains a challenge. Collecting thousands of annotations in each new case for training or fine-tuning is expensive and time-consuming. In contrast, humans can easily identify named entities given some simple instructions. Inspired by this, we challenge the reliance on large datasets and study pre-trained language models for NER in a meta-learning setup. First, we test named entity typing (NET) in a zero-shot transfer scenario. Then, we perform NER by giving few examples at inference. We propose a method to select seen and rare / unseen names when having access only to the pre-trained model and report results on these groups. The results show: auto-regressive language models as meta-learners can perform NET and NER fairly well especially for regular or seen names; name irregularity when often present for a certain entity type can become an effective exploitable cue; names with words foreign to the model have the most negative impact on results; the model seems to rely more on name than context cues in few-shot NER.

연구 동기 및 목표

• 자동 순차 언어 모델인 GPT-2와 같은 모델이 피팅 트레이닝 없이도 명명된 실체 타이핑과 인식에 일반화할 수 있는지 조사하기 위해.
• 소수의 예시와 제로샷의 맥락 학습을 기반으로 인간의 언어적 행동을 모방한 프로빙 설정을 설계하기 위해.
• 사전 훈련 기간 동안 명명된 실체의 기억 저장 여부를 평가하기 위한 새로운 방법을 개발하고 적용하기 위해.
• 기억 저장과 맥락이 다양한 실체 인식 및 타이핑 시나리오에서 모델 성능에 미치는 영향을 평가하기 위해.
• 기존의 데이터셋 분할 방식보다 인간과 유사한 일반화를 더 잘 반영하는 현실적인 테스트 프레임워크를 제공하기 위해.

제안 방법

• GPT-2에 자연어 지시문과 실체 유형 정의를 제공함으로써 제로샷 전이 전략을 설계하여 명명된 실체 타이핑( NET )을 수행한다.
• 명명된 실체 인식( NER )을 기계 독해 이해( MRC ) 작업으로 모델링하여 추론 시 소수의 예시를 제공함으로써 모델를 유도한다.
• 사전 훈련 기간 동안 실체를 기억했는지 여부를 분류하기 위한 노출 지표를 기반으로 한 새로운 기억 저장 평가 절차를 도입한다.
• 대규모 코퍼스인 DBpedia와 CoNLL-2003에서 단어 수준 및 전이 수준 통계의 노출 임계값을 사용하여 기억된 실체와 기억되지 않은 실체를 식별한다.
• CoNLL-2003, WNUT2017, MIT Movie, DBpedia 등 다양한 데이터셋을 평가하여 청소된 텍스트와 노이즈가 있는 텍스트, 정규/비정규 실체를 포함한다.
• 기억된 실체와 기억되지 않은 실체 간 성능을 비교하고, 소수의 예시를 제공하는 경우 맥락적 단서의 영향을 분석한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 자동 순차 언어 모델인 GPT-2가 피팅 트레이닝 없이도 제로샷 또는 피처샷 설정에서 명명된 실체 타이핑 및 인식을 효과적으로 수행할 수 있는가?
• RQ2 사전 훈련 기간 동안 실체를 기억하는 것이 모델이 새로운 또는 희귀 실체에 대해 성능을 내는 데 어떤 영향을 미치는가?
• RQ3 특정 실체 유형에 대해 이름의 비정규성이 소수의 예시를 제공하는 NER에서 신뢰할 수 있는 단서로 작용하는가?
• RQ4 소수의 예시만 제공된 경우 맥락적 단서가 소수의 예시를 제공하는 NER에서 얼마나 영향력이 있는가?
• RQ5 인간과 유사한 테스트 조건에서 새로운 실체 유형과 노이즈가 있는 텍스트에 대해 모델은 어떻게 일반화하는가?

주요 결과

• GPT-2는 피팅 트레이닝 없이도 제로샷 명명된 실체 타이핑( NET )에서 뛰어난 성능을 보이며, 특히 정규적이고 기억된 실체에서 두드러진다.
• 16-shot 프롬프트를 사용하여 CoNLL-2003에서 평균 F1 점수 0.75, MIT Movie에서 0.62, WNUT2017에서 0.61을 기록하며 소수의 예시를 제공하는 NER에서도 경쟁적인 성능을 보였다.
• 특정 실체 유형에 대해 빈번한 이름의 비정규성이 소수의 예시를 제공하는 NER에서 모델의 일반화를 향상시키는 효과적인 이용 가능한 단서로 작용한다.
• 소수의 예시를 제공하는 NER에서 모델은 맥락적 단서보다 실체의 정체성에 더 의존함을 확인하여 맥락 일반화 능력이 제한적임을 시사한다.
• 사전 훈련 기간 동안 등장하지 않은 단어를 포함한 실체는 특히 도전적이며, 이는 사전 훈련 노출의 중요성을 강조한다.
• 제안된 기억 저장 평가 방법은 기억된(기억되지 않은) 실체를 성공적으로 식별하며, 기억 저장이 NET 및 NER 작업에서 모델 성능에 상당한 영향을 미친다는 점을 드러냈다.