[논문 리뷰] Improving Entity Recognition Using Ensembles of Deep Learning and Fine-tuned Large Language Models: A Case Study on Adverse Event Extraction from Multiple Sources

Yiming Li, Deepthi Viswaroopan외 5명|arXiv (Cornell University)|2024. 06. 26.

Topic Modeling인용 수 4

한 줄 요약

이 연구는 VAERS, 트위터, 레딧 데이터에서 생물의학 텍스트의 부작용(AD) 엔티티 인식을 향상시키기 위해 미세튜닝된 대규모 언어모델(LLM)과 전통적인 딥러닝 모델을 조합한 앙상블 모델을 제안한다. GPT-3.5, 라마-2, 바이오BERT를 앙상블 학습을 통해 통합함으로써, 백신에 대해 0.878, 주사에 대해 0.930, AD에 대해 0.925의 엄격한 F1 스코어를 기록하였으며, 전체 모델 평가를 위한 마이크로 평균 F1은 0.903을 기록하여 개별 모델에 비해 뛰어난 내구성과 성능을 입증하였다.

ABSTRACT

Adverse event (AE) extraction following COVID-19 vaccines from text data is crucial for monitoring and analyzing the safety profiles of immunizations. Traditional deep learning models are adept at learning intricate feature representations and dependencies in sequential data, but often require extensive labeled data. In contrast, large language models (LLMs) excel in understanding contextual information, but exhibit unstable performance on named entity recognition tasks, possibly due to their broad but unspecific training. This study aims to evaluate the effectiveness of LLMs and traditional deep learning models in AE extraction, and to assess the impact of ensembling these models on performance. In this study, we utilized reports and posts from the VAERS (n=621), Twitter (n=9,133), and Reddit (n=131) as our corpora. Our goal was to extract three types of entities: "vaccine", "shot", and "ae". We explored and fine-tuned (except GPT-4) multiple LLMs, including GPT-2, GPT-3.5, GPT-4, and Llama-2, as well as traditional deep learning models like RNN and BioBERT. To enhance performance, we created ensembles of the three models with the best performance. For evaluation, we used strict and relaxed F1 scores to evaluate the performance for each entity type, and micro-average F1 was used to assess the overall performance. The ensemble model achieved the highest performance in "vaccine", "shot", and "ae" with strict F1-scores of 0.878, 0.930, and 0.925, respectively, along with a micro-average score of 0.903. In conclusion, this study demonstrates the effectiveness and robustness of ensembling fine-tuned traditional deep learning models and LLMs, for extracting AE-related information. This study contributes to the advancement of biomedical natural language processing, providing valuable insights into improving AE extraction from text data for pharmacovigilance and public health surveillance.

연구 동기 및 목표

• 다양한 텍스트 소스에서 부작용(AD) 엔티티 인식에 대해 미세튜닝된 대규모 언어모델(LLM)과 전통적인 딥러닝 모델의 성능을 평가하는 것.
• 높은 성능을 보이는 LLM과 딥러닝 모델을 앙상블하여 엔티티 인식 정확도와 내구성을 향상시킬 수 있는지 조사하는 것.
• VAERS, 트위터, 레딧과 같은 이질적인 데이터 소스에서 '백신', '주사', 'AD' 세 가지 주요 엔티티 유형을 추출하는 것.
• 엄격한 및 유연한 F1 스코어를 사용하여 엔티티 수준의 성능을 평가함으로써 다양한 주석 기준에 대한 신뢰성 확보.
• NLP를 활용한 약물안전감시 및 공중보건 감시를 위한 확장 가능하고 고정확도의 프레임워크 기여.

제안 방법

• VAERS(n=621), 트위터(n=9,133), 레딧(n=131)에서의 레이블러닝 코퍼스를 기반으로 GPT-2, GPT-3.5, GPT-4, 라마-2를 포함한 다수의 LLM과 RNN, 바이오BERT와 같은 전통적 모델을 미세튜닝.
• 초기 평가 결과에서 가장 높은 성능을 보인 세 모델을 선별하여 앙상블 구성.
• 상위 세 모델의 예측 확률을 평균화하여 일반화 능력 향상과 분산 감소를 도모하는 앙상블 모델 구축.
• 엔티티 수준 성능 평가에 엄격한 및 유연한 F1 스코어를 사용하고, 전체 모델 평가를 위해 마이크로 평균 F1을 적용.
• LLM의 생물의학 및 임상 텍스트 도메인에 대한 적응을 향상시키기 위해 전이학습 기법을 적용하여 맥락 이해 능력 향상.
• 특히 GPT-4에 대해선 제로샷 및 피셔샷 프롬프팅 전략을 적용하여 제로샷 추론 안정성 향상.

실험 결과

연구 질문

• RQ1 미세튜닝된 대규모 언어모델은 비정형 텍스트에서 부작용 관련 엔티티를 추출하는 데 전통적인 딥러닝 모델에 비해 어떻게 비교되는가?
• RQ2 LLM과 고전적 딥러닝 모델을 조합한 다수의 높은 성능 모델을 앙상블하면 개별 모델을 초월해 엔티티 인식 성능을 향상시킬 수 있는가?
• RQ3 데이터 소스 다양성(예: VAERS, 트위터, 레딧)이 모델의 일반화 능력과 엔티티 인식 정확도에 어떤 영향을 미치는가?
• RQ4 엄격한 및 유연한 F1 스코어 기준이 임상 텍스트에서 엔티티 인식 성능 평가에 어떤 영향을 미치는가?
• RQ5 어느 정도의 수준에서 앙상블 모델이 예측 분산을 줄이고 약물부작용 추출 작업의 내구성을 향상시키는가?

주요 결과

• 앙상블 모델은 '백신' 엔티티에 대해 엄격한 F1 스코어 0.878을 기록하여 모든 개별 모델을 초월하였다.
• '주사' 엔티티에 대해 앙상블는 엄격한 F1 스코어 0.930을 달성하여 이 엔티티 타입에 대해 뛰어난 성능을 보였다.
• 부작용(AD) 엔티티에 대해 앙상블는 엄격한 F1 스코어 0.925를 기록하여 높은 정밀도와 재현율을 입증하였다.
• 모든 엔티티에 대한 마이크로 평균 F1 스코어는 0.903이었으며, 이는 데이터셋 전반에 걸친 뛰어난 내구성과 일반화 능력을 나타냈다.
• 미세튜닝된 라마-2와 GPT-3.5가 앙상블의 성능 향상에 크게 기여하였으며, 특히 소셜 미디어의 비공식어를 다룰 때 유의미한 기여를 하였다.
• 특히 레딧과 트위터의 자원이 적거나 노이즈가 많은 텍스트에서 앙상블 접근법이 개별 모델보다 예측 분산을 줄이고 안정성을 향상시켰다.