[논문 리뷰] Leveraging Large Language Models for Enhanced NLP Task Performance through Knowledge Distillation and Optimized Training Strategies

Yining Huang, Tang, Keke외 1명|arXiv (Cornell University)|2024. 02. 14.

Topic Modeling인용 수 7

한 줄 요약

본 논문은 GPT-4으로 주석된 데이터를 이용해 NER를 위해 BERT로 증류하는 것을 조사하고, 프롬프트 전략, 데이터 혼합 규정, 데이터 혼합 함수들을 비교하여 수동 주석 비용을 줄이면서 NER 성능을 개선하는 방법을 탐구한다.

ABSTRACT

Emerging Large Language Models (LLMs) like GPT-4 have revolutionized Natural Language Processing (NLP), showing potential in traditional tasks such as Named Entity Recognition (NER). Our study explores a three-phase training strategy that harnesses GPT-4's capabilities to enhance the BERT model's performance on NER. Initially, GPT-4 annotates a subset of the CONLL2003 and additional BBC dataset without fine-tuning. We then train BERT using a mix of original and LLM-annotated data, analyzing the efficacy of LLM annotations against traditional methods. The second phase involves comparative experiments with different training regimens, assessing the synergy between distilled and original data. We observe that sequential strategies, particularly a simple mix of training first with distilled data followed by original data, significantly boost performance. In the third phase, we investigate various data blending techniques, including sigmoid and power decay functions, to optimize the training process further. Our results indicate that a strategic mix of distilled and original data markedly elevates the NER capabilities of BERT. Our approach presents a scalable methodology that reduces manual annotation costs and increases efficiency, making it especially pertinent in resource-limited and closed-network environments. The study concludes that while the 'Simple Mix' strategy yields the best results, understanding its underlying mechanisms requires further research. Future work will also focus on refining prompt designs and enhancing annotation selection processes, aiming to extend our methodology to diverse NLP tasks.

연구 동기 및 목표

• LLM에서 생성된 주석을 활용해 NER의 수동 주석 비용을 줄이는 동기를 부여한다.
• 전통적인 NER 데이터셋으로 학습된 더 작은 모델(BERT)에 LLM 유래 주석이 어떤 영향을 미치는지 평가한다.
• LLM 주석 품질을 위한 프롬프트 전략(Standard vs Chain of Thought)을 비교한다.
• NER 성능 최대화를 위한 순차적 및 혼합된 데이터 학습 규정을 탐색한다.

제안 방법

• Standard 및 Chain-of-Thought 프롬프트를 사용하여 GPT-4로 1000개 CONLL2003 문장을 주석 달는다.
• GPT-4 주석 데이터와 원본 데이터를 다양한 규정으로 사용해 BERT-base-uncased를 학습시킨다.
• 연관된 BBC 데이터 세트로 주석을 확장하여 distill-and-blend 학습 코퍼스를 만든다.
• 순차적으로 흐름으로 학습 전략(순수 증류, 순수 원본, 순차, 감소 함수가 있는 혼합)을 체계적으로 평가한다.
• NER 지표(F1, 정밀도, 재현율)를 엔터티 유형(LOC, ORG, PER, MISC)별로 분석한다.
• 학습 역학을 최적화하기 위한 데이터 혼합 함수(sigmoid, cosine, power, simple mix)를 조사한다.

실험 결과

연구 질문

• RQ1 LLMs에서 증류할 때 Chain-of-Thought 프롬프트를 포함하든 하지 않든 GPT-4 주석 품질이 BERT 기반 NER을 향상시키는가?
• RQ2 어떤 학습 규정(순수 증류, 순수 원본, 순차, 감소 함수에 의한 혼합)이 최상의 NER 성능을 낳는가?
• RQ3 BBC와 CONLL 데이터를 외부 증류 데이터로 혼합하는 것이 NER 성능을 더 향상시킬 수 있는가?
• RQ4 데이터 혼합 스케줄(sigmoid, cosine, power, simple mix)이 엔터티 유형별로 micro/macro/F1 점수에 어떤 영향을 미치는가?

주요 결과

• CoT 프롬프트가 표준 프롬프트보다 더 높은 NER 주석 품질을 산출한다(1000 CONLL 문장에서 F1 0.73 vs 0.65).
• 순차 학습(증류 데이터에 이어 원본 데이터)이 원본 데이터만 학습보다 NER 성능을 크게 향상시킨다.
• 2단계에서 CONLL 증류 데이터에 BBC 증류 데이터를 추가하면 CONLL 만 사용하는 것보다 일반화가 향상된다.
• 3단계는 학습률 감소 없이 단순 혼합이 강력한 전체 F1(0.869 micro avg) 및 LOC/PER 이득을 달성하고, 다른 혼합 전략은 다양한 이점을 제공한다.
• 데이터 전체(all-data ALL) 혼합은 전략적 혼합 접근법에 비해 저조하며, 양보다 데이터 품질과 분포의 중요성을 강조한다.