[论文解读] Does Synthetic Data Generation of LLMs Help Clinical Text Mining?

Ruixiang Tang, Xiaotian Han+2 more|arXiv (Cornell University)|Mar 8, 2023

Artificial Intelligence in Healthcare and Education被引用 80

一句话总结

该论文显示零-shot 的大语言模型在生物医学命名实体识别/关系抽取方面表现落后，然后通过提示生成合成数据以训练本地模型，在 NER 和 RE 任务中取得显著提升，同时解决隐私问题。

ABSTRACT

Recent advancements in large language models (LLMs) have led to the development of highly potent models like OpenAI's ChatGPT. These models have exhibited exceptional performance in a variety of tasks, such as question answering, essay composition, and code generation. However, their effectiveness in the healthcare sector remains uncertain. In this study, we seek to investigate the potential of ChatGPT to aid in clinical text mining by examining its ability to extract structured information from unstructured healthcare texts, with a focus on biological named entity recognition and relation extraction. However, our preliminary results indicate that employing ChatGPT directly for these tasks resulted in poor performance and raised privacy concerns associated with uploading patients' information to the ChatGPT API. To overcome these limitations, we propose a new training paradigm that involves generating a vast quantity of high-quality synthetic data with labels utilizing ChatGPT and fine-tuning a local model for the downstream task. Our method has resulted in significant improvements in the performance of downstream tasks, improving the F1-score from 23.37% to 63.99% for the named entity recognition task and from 75.86% to 83.59% for the relation extraction task. Furthermore, generating data using ChatGPT can significantly reduce the time and effort required for data collection and labeling, as well as mitigate data privacy concerns. In summary, the proposed framework presents a promising solution to enhance the applicability of LLM models to clinical text mining.

研究动机与目标

• 推动并评估在临床文本挖掘任务（如生物医学 NER 和 RE）中使用 LLMs 的可行性。
• 评估 ChatGPT 在医疗文本中对 NER 和 RE 的零-shot 性能。
• 提出一种合成数据生成框架，在训练本地模型的同时降低隐私风险。
• 展示使用合成数据对 NER 和 RE 的下游任务性能改进。

提出的方法

• 使用为生物任务设计的提示对 NER 和 RE 进行基准测试的 ChatGPT。
• 通过种子示例和提示，利用 LLM 生成带标签的大规模合成数据。
• 对合成数据进行后处理，去除低质量或重复样本。
• 在合成数据上微调本地预训练语言模型（BERT、RoBERTa、BioBERT）。
• 评估在零-shot ChatGPT、基于合成数据微调的模型以及在原始数据上微调的模型之间的性能差异。

实验结果

研究问题

• RQ1 ChatGPT 是否能够在零-shot 设置下有效执行生物医学 NER 和 RE？
• RQ2 在用于微调本地模型时，受种子和提示引导的合成数据生成是否能改善下游的生物医学 NER 和 RE？
• RQ3 在生物医学 NER 和 RE 中，基于合成数据训练的模型与基于原始数据训练的模型相比，其性能如何？
• RQ4 使用 LLMs 进行临床文本挖掘的隐私含义是什么，离线模型结合合成数据是否可以缓解？

主要发现

• 零-shot 的 ChatGPT 在 NER 和 RE 的表现显著落后于在生物医学数据集上训练的最先进模型。
• 在合成数据上的微调显著提升了 NER 的性能，跨数据集和模型，在某些情况下接近或达到使用原始数据时的性能。
• 对于关系抽取，在合成数据上的微调带来显著提升，在某些情况下可以达到原始数据的水平。
• 使用合成数据降低了将患者数据上传到 API 的需求，解决了隐私关注。
• 增多合成句子数量在某些程度上提升性能，达到某个点后增益趋于稳定。
• 种子示例数量与提示会影响数据质量和下游结果；在他们的实验中，大约 3500 条合成句子和 ~80 个种子就足够。