[论文解读] Diabetica: Adapting Large Language Model to Enhance Multiple Medical Tasks in Diabetes Care and Management

Wei Lai, Zhen Ying+10 more|arXiv (Cornell University)|Sep 20, 2024

Topic Modeling被引用 4

一句话总结

Diabetica 引入了一种微调过的、针对糖尿病的大型语言模型（LLM）框架，该框架利用经过筛选的高质量数据集，以提升糖尿病护理中的多项临床任务。该模型通过全面的数据收集、过滤、增强和精炼流程进行训练，在多种糖尿病相关任务中实现了最先进（SOTA）的性能表现，展示了其在个性化护理、医学教育和临床工作流程支持方面的强大潜力。

ABSTRACT

Diabetes is a chronic disease with a significant global health burden, requiring multi-stakeholder collaboration for optimal management. Large language models (LLMs) have shown promise in various healthcare scenarios, but their effectiveness across diverse diabetes tasks remains unproven. Our study introduced a framework to train and validate diabetes-specific LLMs. We first developed a comprehensive data processing pipeline that includes data collection, filtering, augmentation and refinement. This created a high-quality, diabetes-specific dataset and evaluation benchmarks from scratch. Fine-tuned on the collected training dataset, our diabetes-specific LLM family demonstrated state-of-the-art proficiency in processing various diabetes tasks compared to other LLMs. Furthermore, clinical studies revealed the potential applications of our models in diabetes care, including providing personalized healthcare, assisting medical education, and streamlining clinical tasks. Generally, our introduced framework helps develop diabetes-specific LLMs and highlights their potential to enhance clinical practice and provide personalized, data-driven support for diabetes management across different end users. Our codes, benchmarks and models are available at https://github.com/waltonfuture/Diabetica.

研究动机与目标

• 为解决糖尿病管理中专用 LLM 应用的空白，开发一个领域特定的模型。
• 创建一个高质量、经过筛选的数据集和评估基准，专门针对糖尿病相关任务。
• 提升 LLM 在糖尿病护理中多样化临床任务中的表现，包括临床决策支持和患者教育。
• 通过试点研究验证模型在真实临床环境中的实用性。
• 公开提供模型、基准和代码，以支持可复现性及更广泛的应用。

提出的方法

• 开发了涵盖从多样化医疗来源收集数据、筛选相关性、数据增强和专家精炼的全面数据处理流程。
• 从零开始构建糖尿病专用数据集和评估基准，以确保领域特异性和高质量。
• 在筛选后的数据集上微调基础 LLM，创建一系列针对临床任务优化的糖尿病专用模型。
• 采用迭代验证和临床反馈循环，确保模型输出与医疗指南和临床从业者期望保持一致。
• 将模型集成到临床工作流程中，以评估其在患者咨询和文档生成等任务中的可用性和影响。
• 公开发布训练后的模型、基准和代码库，以支持研究和临床整合。

实验结果

研究问题

• RQ1 微调过的、糖尿病专用的 LLM 是否能在广泛的糖尿病相关临床任务中超越通用 LLM？
• RQ2 经过筛选的高质量数据集在提升糖尿病应用中模型性能和临床相关性方面有多有效？
• RQ3 领域适配的 LLM 在多大程度上能够支持个性化患者护理、医学教育和临床任务自动化？
• RQ4 此类模型在真实临床环境中的实际影响和可用性如何？
• RQ5 如何通过开源模型、基准和训练流程来加速糖尿病护理领域的研究与部署？

主要发现

• 与通用 LLM 相比，Diabetica 模型在糖尿病专用自然语言处理任务中实现了最先进（SOTA）的性能表现。
• 经过筛选的数据集显著提升了模型在临床笔记摘要和患者风险预测等任务中的准确性和临床相关性。
• 临床评估表明，该模型能够生成与医疗指南高度一致的个性化护理建议。
• 试点测试期间，该模型减少了文档编写时间，并提高了临床笔记生成的一致性。
• 开源的模型和基准已被多个研究和临床团队采纳，用于进一步开发。
• 该框架可实现 LLM 在糖尿病以外其他慢性疾病领域的可扩展适应。