[논문 리뷰] LightNER: A Lightweight Tuning Paradigm for Low-resource NER via Pluggable Prompting

Xiang Chen, Lei Li외 7명|arXiv (Cornell University)|2021. 08. 31.

Topic Modeling인용 수 39

한 줄 요약

LightNER은 NER를 생성적 태스크로 재구성하고 통합된 verbalizer를 도입하며, PLM 매개변수를 업데이트하지 않고도 경량화된 교차 도메인 및 교차 작업 전이가 가능하도록 플러거블 가이드 모듈을 도입한다.

ABSTRACT

Most NER methods rely on extensive labeled data for model training, which struggles in the low-resource scenarios with limited training data. Existing dominant approaches usually suffer from the challenge that the target domain has different label sets compared with a resource-rich source domain, which can be concluded as class transfer and domain transfer. In this paper, we propose a lightweight tuning paradigm for low-resource NER via pluggable prompting (LightNER). Specifically, we construct the unified learnable verbalizer of entity categories to generate the entity span sequence and entity categories without any label-specific classifiers, thus addressing the class transfer issue. We further propose a pluggable guidance module by incorporating learnable parameters into the self-attention layer as guidance, which can re-modulate the attention and adapt pre-trained weights. Note that we only tune those inserted module with the whole parameter of the pre-trained language model fixed, thus, making our approach lightweight and flexible for low-resource scenarios and can better transfer knowledge across domains. Experimental results show that LightNER can obtain comparable performance in the standard supervised setting and outperform strong baselines in low-resource settings. Code is in https://github.com/zjunlp/DeepKE/tree/main/example/ner/few-shot.

연구 동기 및 목표

• 레이블 데이터가 희소하고 도메인 간 라벨 세트가 서로 다른 저자원 설정에서 강건한 NER을 촉진한다(클래스 전이).
• 라벨 특정 분류기 없이 다양한 엔티티 범주를 처리하기 위해 통일된 verbalizer를 활용한 생성적 프레이밍으로 NER을 제안한다.
• 사전 학습된 LM의 매개변수를 고정한 상태에서 교차 도메인 지식 전송을 가능하게 하는 플러거블 가이드 모듈을 도입한다.
• LightNER가 풍부 자원 설정에서 경쟁력 있는 성능을 달성하고 다수의 데이터셋에서 저자원 시나리오에서 우수한 결과를 보임을 Demonstrate한다.

제안 방법

• 엔터티 범주를 설명 단어로 매핑하는 학습 가능한 통합 verbalizer를 사용하여 시퀀스 라벨링에서 생성 프레임워크로 NER를 변환한다.
• 입력 X에서 엔터티 스팬과 범주를 생성하기 위해 포인터 메커니즘이 있는 seq2seq를 사용한다.
• 각 엔터티 타입을 라벨 단어 집합에 매핑하고 이를 p_tag로 결합하는 가중치를 학습하는 통합 verbalizer를 구성한다.
• PLM을 고정한 상태에서 주의(attention)를 다시 조절하는 학습 가능한 매개변수를 삽입하여 셀프 어텐션 레이어에 플러거블 가이던스 모듈을 도입한다.
• 백본 LM을 고정한 채 플러거블 가이던스와 verbalizer 가중치(beta)만 학습하여 경량 튜닝 규율을 적용한다.
• 클래스 전이와 도메인 지식 가이던스를 분리하여 교차 도메인 전이와 교차 작업 적응성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 저장된 모델 아키텍처를 변경하지 않고도 통합된 verbalizer가 저자원 NER에서 클래스 전이를 가능하게 할 수 있는가?
• RQ2 고정된 PLM 위에 플러거블 가이던스 모듈이 NER의 교차 도메인 및 교차 작업 지식 전송을 효과적으로 지원하는가?
• RQ3 표준 감독 학습 및 저자원 교차 도메인 설정에서 LightNER은 베이스라인과 비교해 어떻게 수행되는가?
• RQ4 생성적 NER 프레임워크에서 최소한의 학습 가능 매개변수로 도메인 및 작업 간 지식 전이가 가능한가?

주요 결과

• LightNER은 표준 감독 설정에서 강력한 베이스라인과 함께 경쟁력 있는 성능을 달성한다.
• 저자원 교차 도메인 설정에서 LightNER는 LC-BERT, 템플릿 기반 BART, BERT-MRC를 포함한 여러 베이스라인을 지속적으로 능가한다.
• 변형을 통해 플러거블 가이드 모듈이 교차 도메인 성능 향상에 크게 기여하는 반면, 통합 verbalizer가 클래스 전이를 처리한다는 것을 확인한다.
• 전체 매개변수 튜닝은 이득이 제한적이고 교차 도메인 전이 능력을 감소시키므로 경량의 플러거블 접근의 중요성을 강조한다.
• 혼합 가이던스 프롬프트를 사용한 제로샷 교차 도메인 결과는 다른 방법에 비해 의미 있는 전이 능력을 시사한다.