[论文解读] Medical Data Augmentation via ChatGPT: A Case Study on Medication Identification and Medication Event Classification

Shouvon Sarker, Lijun Qian+1 more|arXiv (Cornell University)|Jun 10, 2023

Machine Learning in Healthcare被引用 7

一句话总结

本研究提出了一种利用ChatGPT进行数据增强的框架，以提升电子健康记录（EHR）中药物识别与药物事件分类的性能。通过生成多样且语境准确的临床句子改写版本，该方法增强了训练数据，当与预训练的BERT模型（尤其是BioClinicalBERT和RoBERTa-large）微调后，显著提升了性能，尤其在药物事件分类任务的召回率和F1分数方面表现突出。

ABSTRACT

The identification of key factors such as medications, diseases, and relationships within electronic health records and clinical notes has a wide range of applications in the clinical field. In the N2C2 2022 competitions, various tasks were presented to promote the identification of key factors in electronic health records (EHRs) using the Contextualized Medication Event Dataset (CMED). Pretrained large language models (LLMs) demonstrated exceptional performance in these tasks. This study aims to explore the utilization of LLMs, specifically ChatGPT, for data augmentation to overcome the limited availability of annotated data for identifying the key factors in EHRs. Additionally, different pre-trained BERT models, initially trained on extensive datasets like Wikipedia and MIMIC, were employed to develop models for identifying these key variables in EHRs through fine-tuning on augmented datasets. The experimental results of two EHR analysis tasks, namely medication identification and medication event classification, indicate that data augmentation based on ChatGPT proves beneficial in improving performance for both medication identification and medication event classification.

研究动机与目标

• 通过利用大语言模型生成合成数据，以应对标注EHR数据稀缺的问题。
• 评估ChatGPT生成的增强数据在临床文本下游NLP任务中的有效性。
• 对比在原始数据集和增强数据集上微调的多种预训练BERT变体在药物相关分类任务中的表现。
• 探究通过LLM进行数据增强是否能提升临床NLP应用中模型的泛化能力和鲁棒性。
• 为低资源临床NLP场景提供一种实用的、基于提示工程的数据增强流水线。

提出的方法

• 通过提示工程利用ChatGPT重写原始EHR句子，生成语义等效但语言形式多样的训练样本。
• 将原始CMED训练数据与增强数据结合，形成扩展后的训练集。
• 在合并数据集上微调多种预训练BERT变体（包括BioBERT、ClinicalBERT、RoBERTa和BioClinicalBERT）。
• 在两个N2C2 2022基准任务上评估微调后的模型：药物识别与药物事件分类。
• 采用严格和宽松的评估指标（精确率、召回率、F1）评估宏平均与微平均性能。
• 使用零样本提示和少样本提示策略，从临床记录中生成多样且语境准确的改写版本。

实验结果

研究问题

• RQ1 ChatGPT生成的数据增强是否能提升基于BERT的模型在EHR中进行药物识别的性能？
• RQ2 通过ChatGPT进行数据增强是否能在药物事件分类任务中带来可测量的改进，特别是在召回率和F1分数方面？
• RQ3 在微调增强后的EHR数据时，哪种预训练BERT变体表现最佳？
• RQ4 在不同评估指标下，使用增强数据训练的模型与仅使用原始数据训练的模型相比表现如何？
• RQ5 在低资源临床NLP任务中，数据增强在多大程度上缓解了数据稀缺问题？

主要发现

• 增强后的RoBERTa-large模型在药物识别任务上达到0.7356的宏F1分数，在药物事件分类任务上达到0.8268的宏F1分数（宽松评估标准）。
• 数据增强显著提升了药物事件分类的召回率，增强后的RoBERTa-large模型宏召回率达到0.7426，较无增强时的0.7235有所提升。
• BioClinicalBERT和BioRedditBERT表现优异，其中BioRedditBERT在药物识别任务上达到0.6976的宏F1分数，在药物事件分类任务上达到0.7096的宏召回率。
• RoBERTa-large模型优于所有其他变体，在宽松评估标准下，药物识别任务的宏F1分数为0.7317，药物事件分类任务的F1分数为0.8237。
• 使用增强数据在多个指标上均带来一致提升，尤其在召回率方面，表明模型对罕见或复杂药物事件模式的捕捉能力更强。
• 结果表明，基于LLM的数据增强是一种可行且有效的策略，可显著提升低资源临床NLP任务中模型的泛化能力。