[논문 리뷰] InstructionNER: A Multi-Task Instruction-Based Generative Framework for Few-shot NER

Liwen Wang, Rumei Li외 5명|arXiv (Cornell University)|2022. 03. 08.

Topic Modeling인용 수 25

한 줄 요약

InstructionNER은 NER를 태스크별 지시와 정답 옵션으로 보강된 시퀀스-투-시퀀스 생성 태스크로 재정의하고, 두 개의 보조 태스크를 추가하여 적은 데이터 상황에서 NER 성능을 향상시킨다.

ABSTRACT

Recently, prompt-based methods have achieved significant performance in few-shot learning scenarios by bridging the gap between language model pre-training and fine-tuning for downstream tasks. However, existing prompt templates are mostly designed for sentence-level tasks and are inappropriate for sequence labeling objectives. To address the above issue, we propose a multi-task instruction-based generative framework, named InstructionNER, for low-resource named entity recognition. Specifically, we reformulate the NER task as a generation problem, which enriches source sentences with task-specific instructions and answer options, then inferences the entities and types in natural language. We further propose two auxiliary tasks, including entity extraction and entity typing, which enable the model to capture more boundary information of entities and deepen the understanding of entity type semantics, respectively. Experimental results show that our method consistently outperforms other baselines on five datasets in few-shot settings.

연구 동기 및 목표

• 지시 기반으로 조정된 생성을 통해 사전 학습과 미세 조정을 연결하여 데이터가 부족한 NER를 동기 부여하고 해결한다.
• 설명적 지시와 명시적 출력 옵션 공간을 이용해 NER를 seq2seq 생성 문제로 재정의한다.
• 경계 인식 및 타입 의미를 향상시키기 위해 두 가지 보조 태스크인 엔티티 추출과 엔티티 타입 지정을 도입한다.
• 여러 NER 벤치마크에서 적은 샷 설정에서의 효과를 보여주고 성능에 영향을 주는 요인을 분석한다.

제안 방법

• 문장을 입력하고 지시문과 옵션(엔티티 타입)을 함께 제공하여 T5( seq2seq )로 해결되는 자연어 생성 태스크로 NER를 재정의한다.
• 템플릿을 사용해 엔티티와 그 타입을 자연어로 출력한다; 엔티티 타입 토큰에 대해 두 가지 전략(자연어 형식 대 합성 토큰)을 지원한다.
• 두 가지 보조 태스크인 엔티티 추출(엔티티 범위를 추출)와 엔티티 타입 지정(주어진 엔티티 발생에 타입 부여)을 도입하고 주 태스크와 함께 학습한다.
• 출력된 T5를 소스 문장과의 매칭을 통해 표준 NER 삼항들(l, r, t)로 변환하는 구문 분석 절차를 사용한다.
• ET와 EE의 포함 여부에 따른 InstructionNER 변형을 비교하고 지시 조정 및 보조 태스크의 영향을 분석한다.
• 빔 검색을 이용한 디코딩으로 몇 샷 방식에서 여러 데이터셋에 대해 F1로 평가한다.

실험 결과

연구 질문

• RQ1 지시 기반 생성 프레이밍이 이전의 프롬프트 기반 및 생성 방법과 비교하여 적은 샷 NER를 향상시킬 수 있는가?
• RQ2 엔티티 경계(추출)와 타입 의미(타이핑)에 초점을 맞춘 보조 태스크가 자원 제약 하의 NER에서 측정 가능한 이점을 제공하는가?
• RQ3 레이블 표현의 선택(자연어 대 합성 토큰)이 저자원 대 고자원 설정에서 성능에 어떤 영향을 미치는가?

주요 결과

방법	MIT Movie 10-shot	MIT Movie 20-shot	MIT Movie 50-shot	MIT Restaurant 10-shot	MIT Restaurant 20-shot	MIT Restaurant 50-shot	ATIS 10-shot	ATIS 20-shot	ATIS 50-shot
Baseline: Template	37.3	48.5	52.2	46.0	57.1	58.7	71.7	79.4	92.6
BARTNER	41.1	54.0	67.7	44.0	56.0	64.0	77.7	86.1	93.4
LightNER	41.7	57.8	73.1	48.5	58.0	62.0	76.3	85.3	92.8
InstructionNER	64.4 (±2.1)	70.0 (±0.3)	74.1 (±1.2)	58.7 (±1.2)	65.5 (±1.4)	71.2 (±1.1)	90.7 (±0.3)	93.0 (±0.4)	95.1 (±0.5)

• InstructionNER은 MIT Movie, MIT Restaurant, ATIS 데이터셋에서 10샷/20샷/50샷 설정 모두에서 지속적으로 기준선보다 우수한 성능을 보인다.
• 보조 태스크 ET와 EE는 자원 부족 상황에서 추가 이점을 제공하며, ET는 타입 정확도를 향상시키고 EE는 경계/범위 성능을 개선한다; 일부 설정에서는 ET+EE의 결합이 잡음을 초래할 수 있다.
• 지시와 옵션을 사용하는 InstructionNER은 T5 기본(비지시) 기준선에 비해 명확한 향상을 보여주며 특히 적은 샷에서 두드러진다.
• 도메인 간 전이(CoNLL03 소스에서 MIT Restaurant 대상으로)에서도 InstructionNER은 기준선보다 우수하거나 비슷한 이점을 달성한다.
• 레이블 의미 분석은 적은 샷에서 자연어 형태의 라벨이 합성 토큰보다 우수한 반면, 더 풍부한 감독에는 합성 토큰이 도움이 될 수 있음을 보여준다.