[논문 리뷰] Enhancing Few-shot NER with Prompt Ordering based Data Augmentation

Hui‐Ming Wang, Liying Cheng외 3명|arXiv (Cornell University)|2023. 05. 19.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 자동순차 생성 모델을 사용한 소수의 샘플만 있는 명명된 실체 인식(NER)을 위한 새로운 데이터 증강 방법인 프롬프트 순서 기반 데이터 증강(PODA)을 제안한다. 프롬프트 기반 지시문을 통해 다양한 타당한 실체 순서를 생성하고, 각 순서를 고유한 입력 시퀀스와 쌍으로 연결함으로써, 기존의 일대다 매핑 문제를 피하면서도 백본 모델을 수정하지 않고도 평면형 및 네스팅된 NER 벤치마크에서 모델의 일반화 능력과 성능을 향상시킨다.

ABSTRACT

Recently, data augmentation (DA) methods have been proven to be effective for pre-trained language models (PLMs) in low-resource settings, including few-shot named entity recognition (NER). However, conventional NER DA methods are mostly aimed at sequence labeling models, i.e., token-level classification, and few are compatible with unified autoregressive generation frameworks, which can handle a wider range of NER tasks, such as nested NER. Furthermore, these generation frameworks have a strong assumption that the entities will appear in the target sequence with the same left-to-right order as the source sequence. In this paper, we claim that there is no need to keep this strict order, and more diversified but reasonable target entity sequences can be provided during the training stage as a novel DA method. Nevertheless, a naive mixture of augmented data can confuse the model since one source sequence will then be paired with different target sequences. Therefore, we propose a simple but effective Prompt Ordering based Data Augmentation (PODA) method to improve the training of unified autoregressive generation frameworks under few-shot NER scenarios. Experimental results on three public NER datasets and further analyses demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 자기순차 생성 모델이 출력에서 엄격한 왼쪽에서 오른쪽 실체 순서를 가정하는 데서 비롯하는 소수의 샘플 NER에서의 한계를 해결하기 위해.
• 통합 생성 프레임워크와 호환되는 데이터 증강 방법을 개발하여, 특히 네스팅 및 복잡한 NER 작업에 적합하게 하기 위해.
• 데이터 증강에서 발생하는 일대다 매핑 문제를 해결하기 위해, 한 개의 입력이 여러 개의 타당한 출력으로 매핑될 수 있는 상황을 방지하기 위해.
• 최소한의 레이블링된 데이터로 저자원 환경에서 모델의 일반화 능력과 성능을 향상시키기 위해.
• 구조적 수정 없이도 T5 및 BART-NER와 같은 생성형 PLM의 효과적인 훈련을 가능하게 하기 위해.

제안 방법

• 실체 유형의 가능한 모든 순열을 생성하여 프롬프트 기반 순서 지시문으로 사용한다.
• 각 고유한 순서 지시문을 입력 문장과 결합하여 새로운 소스 시퀀스를 형성하고, 재정렬된 타겟 시퀀스와 일대일 매핑을 형성한다.
• 이러한 쌍으로 이루어진 시퀀스를 사용하여 자동순차 모델을 훈련함으로써 학습 중에 왼쪽에서 오른쪽 실체 순서를 강제하지 않는다.
• 추론 시에도 동일한 프롬프트 지시문('왼쪽에서 오른쪽으로')을 사용하여 표준 평가와의 일관성을 유지한다.
• 각 훈련 예제에서 소스 시퀀스가 오직 하나의 타겟 시퀀스로 매핑되도록 보장함으로써 다중 모odal 문제를 방지한다.
• NER의 순서 무관성 특성을 활용하여 실체 언급과 유형 정보를 유지하면서 의미적으로 타당하고 다양한 타겟 시퀀스를 생성한다.

실험 결과

연구 질문

• RQ1 시퀀스 레이블링 모델을 위한 데이터 증강 방법이 통합 자동순차 생성 프레임워크에 효과적으로 적용될 수 있는가?
• RQ2 자동순차 NER에서 엄격한 왼쪽에서 오른쪽 실체 순서 가정을 완화하면 소수의 샘플 설정에서 모델 성능이 향상되는가?
• RQ3 프롬프트 기반 순서 지시문이 생성형 NER 모델의 데이터 증강에서 발생하는 일대다 매핑 문제를 해결할 수 있는가?
• RQ4 생성된 순열의 수가 소수의 샘플 NER에서 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 T5 및 BART-NER와 같은 다양한 생성형 백본 모델로도 일반화 가능한가?

주요 결과

• PODA는 CoNLL-2003, ACE-2005, MIT-Movie 데이터셋에서 10-shot, 20-shot, 50-shot 설정 전반에서 F1 점수를 유의미하게 향상시켜 소수의 샘플 NER에서 일관된 성능 향상을 보였다.
• 50-shot 설정에서 순수 T5에 비해 ACE-2005에서 F1 점수를 6.07포인트 향상시켜 저자원 환경에서 강력한 성능 향상을 보였다.
• 모든 실체 유형 순열을 사용할 경우 하나 또는 몇 개의 순열만 사용하는 것보다 성능이 뛰어나며, 그림 2는 순열 수가 증가할수록 명확한 성능 향상을 보여준다.
• PODA는 T5와 Flan-T5 양쪽 모두에서 성능 향상을 이끌었지만, Flan-T5에서는 상대적으로 성능 향상이 적었으며, 이는 증강 데이터와 지시어 훈련 데이터 사이의 분포 불일치 때문일 수 있다.
• BART-NER와 같은 다른 생성형 모델로도 일반화가 잘 되었으며, 기존에 T5보다 성능이 열 劣한 저자원 설정에서도 성능 향상을 이룬다.
• 제거 실험 결과는 프롬프트 기반 지시 메커니즘이 일대다 매핑 문제를 성공적으로 회피함으로써 안정적이고 효과적인 훈련을 가능하게 했다는 점을 확인했다.