[논문 리뷰] LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named Entity Recognition

Junjie Ye, Nuo Xu외 5명|arXiv (Cornell University)|2024. 02. 22.

Topic Modeling인용 수 11

한 줄 요약

LLM-DA는 대형 언어 모델을 활용하여 적은 샘플 NER용 맥락 및 개체 수준의 확장 데이터를 생성하고, 여러 데이터셋에서 모델 성능을 향상시킵니다.

ABSTRACT

Despite the impressive capabilities of large language models (LLMs), their performance on information extraction tasks is still not entirely satisfactory. However, their remarkable rewriting capabilities and extensive world knowledge offer valuable insights to improve these tasks. In this paper, we propose $LLM-DA$, a novel data augmentation technique based on LLMs for the few-shot NER task. To overcome the limitations of existing data augmentation methods that compromise semantic integrity and address the uncertainty inherent in LLM-generated text, we leverage the distinctive characteristics of the NER task by augmenting the original data at both the contextual and entity levels. Our approach involves employing 14 contextual rewriting strategies, designing entity replacements of the same type, and incorporating noise injection to enhance robustness. Extensive experiments demonstrate the effectiveness of our approach in enhancing NER model performance with limited data. Furthermore, additional analyses provide further evidence supporting the assertion that the quality of the data we generate surpasses that of other existing methods.

연구 동기 및 목표

• 라벨링된 데이터가 부족할 때 NER 성능을 향상시키려는 동기.
• 기존 증강 방법의 의미론적 및 구문적 무결성 문제를 다룬다.
• LLM 재작성과 세계 지식을 활용하여 학습 데이터를 다양화하고 풍부하게 만든다.
• NER에 대한 유용성을 극대화하기 위해 맥락 수준 증강과 개체 수준 증강의 균형을 맞춘다.

제안 방법

• 원래 엔티티를 유지한 채 다양한 문장을 생성하기 위해 문장 길이, 어휘, 절, 스타일에 걸친 14가지 맥락 수준 재작성 전략을 사용한다.
• 훈련 데이터 외의 다양성을 확장하기 위해 같은 유형의 다른 엔티티로 교체하는 LLM 세계 지식을 사용한다.
• 맥락 수준 증강과 개체 수준 증강을 두 단계 프로세스(먼저 맥락, 그다음 개체 수준)로 결합하고, 간헐적 노이즈 주입(철자 오류)도 추가한다.
• 주어진 엔티티를 보존하는 문장을 남기고 원래 엔티티 유형으로 주석 처리하도록 증강 데이터를 필터링한다.
• 증강 데이터를 사용하여 NER 모델(BERT-base-cased 및 RoBERTa-base)을 AdamW를 사용해 학습시키고 학습률은 3e-5, 배치 크기 8, 에폭 20, 조기 중단을 적용한다.

실험 결과

연구 질문

• RQ1 LLM 기반 데이터 증강이 여러 데이터셋에서 적은 샷 NER을 향상시킬 수 있는가?
• RQ2 맥락 수준, 개체 수준 및 결합 증강의 효과 차이는 무엇인가?
• RQ3 노이즈 추가와 증강 순서가 모델의 강건성과 성능에 어떤 영향을 미치는가?
• RQ4 LLM-DA가 기존 증강 방법(LSMS, DAGA, MELM) 및 ChatGPT의 제로샷/적은 샷 성능과 어떻게 비교되는가?
• RQ5 LLM-DA가 생성한 샘플의 데이터 품질(정보성, 가독성, 문법성)은 어떤가?

주요 결과

• LLM-DA는 CoNLL’03, OntoNotes 5.0, MIT-Movie, FEW-NERD 전반에서 기준선에 비해 일관되게 적은 샷 NER 성능을 향상시킨다.
• CoNLL’03에서 LLM-DA는 일부 설정에서 다른 방법들에 비해 최소 30포인트의 향상을 달성한다.
• 맥락 수준 증강은 작은 데이터셋에서 더 큰 이득을 주고, 개체 수준 증강은 데이터셋 크기가 커질수록 더 유익해진다.
• 양방향 증강은 특정 시나리오에서 최상의 결과를 내는 경우가 많지만, 과도한 맥락 기반 변동은 큰 데이터셋에서 성능에 해를 끼칠 수 있다.
• LLM-DA 데이터는 경쟁 증강 방법에 비해 더 높은 언어 품질(정보성, 가독성, 문법)을 보인다.
• 작은 데이터 조건에서 ChatGPT와 비교해 LLM-DA는 네 가지 데이터셋 모두에서 제로샷/적은 샷 ChatGPT를 일관되게 능가한다.