[논문 리뷰] LightNER: A Lightweight Generative Framework with Prompt-guided Attention for Low-resource NER

Xiang Chen, Ningyu Zhang외 7명|arXiv (Cornell University)|2021. 08. 31.

Topic Modeling참고 문헌 63인용 수 26

한 줄 요약

LightNER는 프롬프트 유도 주의와 의미 인식 답변 공간 구축을 활용하여 최소한의 하이퍼파라미터 튜닝으로도 높은 성능을 달성하는 경량 생성 프레임워크를 제안한다. 사전 훈련된 모델 가중치를 고정하고 연속 프롬프트만 미세조정함으로써 저자원 설정에서 최신 기술 성능을 달성한다.

ABSTRACT

Most existing NER methods rely on extensive labeled data for model training, which struggles in the low-resource scenarios with limited training data. Recently, prompt-tuning methods for pre-trained language models have achieved remarkable performance in few-shot learning by exploiting prompts as task guidance to reduce the gap between training progress and downstream tuning. Inspired by prompt learning, we propose a novel lightweight generative framework with prompt-guided attention for low-resource NER (LightNER). Specifically, we construct the semantic-aware answer space of entity categories for prompt learning to generate the entity span sequence and entity categories without any label-specific classifiers. We further propose prompt-guided attention by incorporating continuous prompts into the self-attention layer to re-modulate the attention and adapt pre-trained weights. Note that we only tune those continuous prompts with the whole parameter of the pre-trained language model fixed, thus, making our approach lightweight and flexible for low-resource scenarios and can better transfer knowledge across domains. Experimental results show that LightNER can obtain comparable performance in the standard supervised setting and outperform strong baselines in low-resource settings by tuning only a small part of the parameters.

연구 동기 및 목표

• 라벨이 부족한 저자원 명명된 실체 인식(NER) 문제를 해결하기 위해.
• 사전 훈련된 언어 모델에서 프롬프트 튜닝을 활용하여 대규모 애너테이션 데이터셋에 대한 의존도를 줄이기 위해.
• 소수의 파rameter만 미세조정하면서도 높은 성능을 유지하는 경량 프레임워크를 설계하기 위해.
• 연속 프롬프트를 통한 주의 재조정을 통해 영역 간 제로샷 및 소수 샘플 전이성을 향상시키기 위해.

제안 방법

• 라벨별 분류기 없이 생성 디코딩을 유도하기 위해 실체 카테고리에 대한 의미 인식 답변 공간을 구성하기 위해.
• 연속 프롬프트를 자기주의 메커니즘에 통합하여 프롬프트 유도 주의를 도입함으로써 주의 가중치를 재조정하기 위해.
• 모든 사전 훈련된 모델 파라미터를 고정하고 연속 프롬프트만 미세조정함으로써 모델 효율성과 파라미터의 경량성을 확보하기 위해.
• 사전 훈련과 최종 테스크 튜닝 간 격차를 메우기 위해 프롬프트 학습을 활용하고, 저자원 환경에서 지식 전이를 향상시키기 위해.
• 프롬프트에 의해 유도되는 생성적 시퀀스 투 시퀀스 프레임워크를 통해 엔티티 스팬과 해당 카테고리를 종합적으로 생성하기 위해.
• 프롬프트 기반 주의 적응을 통해 사전 훈련된 모델의 인덕티브 바이어스를 유지하면서 최종 NER 작업에 적응하기 위해.

실험 결과

연구 질문

• RQ1 최소한의 파rameter 업데이트로도 경량 생성 프레임워크가 저자원 NER에서 경쟁적인 성능을 달성할 수 있는가?
• RQ2 기본 모델을 미세조정하지 않고도 프롬프트 유도 주의가 NER에 대한 주의 표현을 얼마나 효과적으로 향상시키는가?
• RQ3 의미 인식 답변 공간 구성이 NER의 소수 샘플 일반화에 얼마나 기여하는가?
• RQ4 고정된 사전 훈련된 가중치를 사용한 프롬프트 튜닝이 저자원 설정에서 더 나은 영역 간 전이를 가능하게 하는가?
• RQ5 LightNER는 표준 및 저자원 NER 벤치마크에서 강력한 베이스라인과 비교해 어떻게 성능을 내는가?

주요 결과

• 전체 데이터 설정에서 LightNER는 표준 지도 학습 방법과 비교해 유사한 성능을 달성하여 강력한 일반화 능력을 보여준다.
• 저자원 설정에서 LightNER는 강력한 베이스라인을 능가하며, 소수 샘플 환경에서의 효과성을 확인한다.
• 사전 훈련된 모델을 동결하고 연속 프롬프트만 미세조정함으로써 높은 성능를 유지한다.
• 프롬프트 유도 주의는 주의 표현을 향상시키고, 특히 데이터 부족 상황에서 실체 인식 정확도를 높인다.
• 의미 인식 답변 공간은 작업별 분류기가 없이도 정확하고 일관된 엔티티 스팬과 레이블 생성을 가능하게 한다.
• 파rameter 효율적이고 프롬프트 중심의 적응 메커니즘 덕분에 영역 간 강력한 전이성과 유사성을 보인다.