[论文解读] Improving Entity Recognition Using Ensembles of Deep Learning and Fine-tuned Large Language Models: A Case Study on Adverse Event Extraction from Multiple Sources

Yiming Li, Deepthi Viswaroopan+5 more|arXiv (Cornell University)|Jun 26, 2024

Topic Modeling被引用 4

一句话总结

本研究提出一种集成模型，结合微调的大规模语言模型（LLMs）与传统深度学习模型，以提升生物医学文本中不良反应（AE）实体识别的性能。通过在VAERS、Twitter和Reddit数据上对GPT-3.5、Llama-2和BioBERT进行集成学习，该方法在‘疫苗’、‘接种’和‘不良反应’实体上分别取得严格F1分数0.878、0.930和0.925，微平均F1为0.903，展现出优于单一模型的卓越鲁棒性与性能。

ABSTRACT

Adverse event (AE) extraction following COVID-19 vaccines from text data is crucial for monitoring and analyzing the safety profiles of immunizations. Traditional deep learning models are adept at learning intricate feature representations and dependencies in sequential data, but often require extensive labeled data. In contrast, large language models (LLMs) excel in understanding contextual information, but exhibit unstable performance on named entity recognition tasks, possibly due to their broad but unspecific training. This study aims to evaluate the effectiveness of LLMs and traditional deep learning models in AE extraction, and to assess the impact of ensembling these models on performance. In this study, we utilized reports and posts from the VAERS (n=621), Twitter (n=9,133), and Reddit (n=131) as our corpora. Our goal was to extract three types of entities: "vaccine", "shot", and "ae". We explored and fine-tuned (except GPT-4) multiple LLMs, including GPT-2, GPT-3.5, GPT-4, and Llama-2, as well as traditional deep learning models like RNN and BioBERT. To enhance performance, we created ensembles of the three models with the best performance. For evaluation, we used strict and relaxed F1 scores to evaluate the performance for each entity type, and micro-average F1 was used to assess the overall performance. The ensemble model achieved the highest performance in "vaccine", "shot", and "ae" with strict F1-scores of 0.878, 0.930, and 0.925, respectively, along with a micro-average score of 0.903. In conclusion, this study demonstrates the effectiveness and robustness of ensembling fine-tuned traditional deep learning models and LLMs, for extracting AE-related information. This study contributes to the advancement of biomedical natural language processing, providing valuable insights into improving AE extraction from text data for pharmacovigilance and public health surveillance.

研究动机与目标

• 评估微调的大规模语言模型（LLMs）与传统深度学习模型在多样化文本来源中识别不良反应（AE）实体的性能。
• 探究集成高性能LLMs与深度学习模型是否能够提升实体识别的准确率与鲁棒性。
• 从包括VAERS、Twitter和Reddit在内的异构数据源中提取三种关键实体类型——‘疫苗’、‘接种’和‘ae’。
• 通过严格与宽松的F1评分评估模型性能，以确保在不同标注阈值下的可靠性。
• 为药物警戒与公共卫生监测提供一种可扩展、高精度的自然语言处理框架。

提出的方法

• 在来自VAERS（n=621）、Twitter（n=9,133）和Reddit（n=131）的标注语料上，对多个LLM（GPT-2、GPT-3.5、GPT-4、Llama-2）和传统模型（RNN、BioBERT）进行微调。
• 从初步评估中选取表现最佳的三个模型用于构建集成模型。
• 通过平均前三个模型的预测概率构建集成模型，以提升泛化能力并降低方差。
• 使用严格与宽松的F1分数评估实体级别性能，微平均F1用于整体模型评估。
• 应用迁移学习技术，将LLM适配至生物医学与临床文本领域，增强上下文理解能力。
• 在适用情况下采用零样本与少样本提示策略，尤其针对GPT-4，以提升零样本推理的稳定性。

实验结果

研究问题

• RQ1 微调的大规模语言模型与传统深度学习模型在从非结构化文本中提取不良反应相关实体方面表现如何？
• RQ2 集成多个高性能模型——结合LLMs与经典深度学习模型——是否能够使实体识别性能超越单一模型？
• RQ3 数据源多样性（如VAERS、Twitter、Reddit）对模型泛化能力与实体识别准确率有何影响？
• RQ4 严格与宽松的F1评分阈值如何影响临床文本中实体识别性能的评估？
• RQ5 模型集成在多大程度上降低了预测方差并提升了不良反应提取任务中的鲁棒性？

主要发现

• 集成模型在‘疫苗’实体上取得0.878的严格F1分数，优于所有单一模型。
• 在‘接种’实体上，集成模型达到0.930的严格F1分数，表明其在该实体类型上表现强劲。
• 模型在‘ae’（不良反应）实体上取得最高的严格F1分数0.925，表明其具有高精确率与召回率。
• 所有实体的微平均F1分数为0.903，表明模型在整个数据集上具备出色的总体鲁棒性与泛化能力。
• 微调后的Llama-2与GPT-3.5对集成模型的性能有显著贡献，尤其在处理社交媒体中的非正式语言方面表现突出。
• 与单一模型相比，集成方法降低了预测方差，提升了稳定性，尤其在Reddit和Twitter等低资源或噪声较大的文本上表现更优。