[论文解读] Health-LLM: Personalized Retrieval-Augmented Disease Prediction System

Qinkai Yu, Mingyu Jin+9 more|arXiv (Cornell University)|Feb 1, 2024

Artificial Intelligence in Healthcare被引用 11

一句话总结

Health-LLM 将大语言模型、检索增强生成与自动特征工程相结合，以从健康报告预测疾病，优于若干基线。

ABSTRACT

Recent advancements in artificial intelligence (AI), especially large language models (LLMs), have significantly advanced healthcare applications and demonstrated potentials in intelligent medical treatment. However, there are conspicuous challenges such as vast data volumes and inconsistent symptom characterization standards, preventing full integration of healthcare AI systems with individual patients' needs. To promote professional and personalized healthcare, we propose an innovative framework, Heath-LLM, which combines large-scale feature extraction and medical knowledge trade-off scoring. Compared to traditional health management applications, our system has three main advantages: (1) It integrates health reports and medical knowledge into a large model to ask relevant questions to large language model for disease prediction; (2) It leverages a retrieval augmented generation (RAG) mechanism to enhance feature extraction; (3) It incorporates a semi-automated feature updating framework that can merge and delete features to improve accuracy of disease prediction. We experiment on a large number of health reports to assess the effectiveness of Health-LLM system. The results indicate that the proposed system surpasses the existing ones and has the potential to significantly advance disease prediction and personalized health management.

研究动机与目标

• 通过从患者健康报告中预测潜在疾病来促进个性化健康管理。
• 将健康报告整合到一个大模型中，并用专业医疗知识调整特征权重。
• 开发半自动到全自动的特征提取框架，以提高疾病预测准确性。

提出的方法

• 使用上下文学习为多种疾病生成症状特征。
• 将检索增强生成（RAG）与医学知识库结合，为大语言模型丰富提示。
• 使用专业医学信息对 Llama Index 进行特征评分，并将分数嵌入为下游建模的特征。
• 在工程化的特征分数上训练 XGBoost 分类器以预测疾病标签。
• 结合 Context-Aware Automated Feature Engineering (CAAFE) 以迭代生成语义相关的特征。
• 在 IMCS-21 数据集上与多个基线进行比较评估，采用 ACC 和 macro F1 作为评估指标。

实验结果

研究问题

• RQ1 在 IMCS-21 数据集上，Health-LLM 是否能在信息检索及其他基线的帮助下提升疾病预测准确性，相比 GPT-4？
• RQ2 外部医学知识检索和特征预处理（CAAFE）对预测性能的影响如何？
• RQ3 检索增强架构结合自动特征工程是否能提升个性化健康预测？
• RQ4 在 few-shot 设置中，Health-LLM 相对于微调的 Llama2 等其他大型模型的表现如何？

主要发现

• Health-LLM 在 IMCS-21 上实现了 Accuracy 0.833 和 F1 0.762，优于带检索的 GPT-4（Accuracy 0.680，F1 0.718）。
• Health-LLM 在同一任务上优于包括 RoBERTa、TextBiLSTM+Attention 与 Hierarchical Attention 等基线。
• 消融试验显示去除外部医学知识检索后，Accuracy 降至 0.78，F1 降至 0.714，强调专业知识索引的价值。
• 移除 CAAFE 特征预处理会将 Accuracy 降至 0.77，F1 降至 0.721，表明上下文感知的自动特征工程的好处。
• 与微调的 Llama2 模型相比，在所报道的设置中 Health-LLM 仍然优越（Health-LLM 0.833 ACC，0.762 F1 vs. Fine-tuned-Llama2-13B 0.730 ACC，0.671 F1）。