[论文解读] AlzheimerRAG: Multimodal Retrieval Augmented Generation for Clinical Use Cases using PubMed articles

Aritra Kumar Lahiri, Qinmin Hu|arXiv (Cornell University)|Dec 21, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

AlzheimerRAG 是一种多模态检索增强生成（RAG）流程，整合了来自 PubMed 文章的文本和视觉数据，以增强阿尔茨海默病研究中的上下文感知信息检索与生成。该方法在临床推理任务中达到人类水平的准确率，且幻觉现象显著减少，在 BioASQ 和 PubMedQA 等基准测试中优于基线大语言模型（LLM）和 RAG 模型。

ABSTRACT

Recent advancements in generative AI have fostered the development of highly adept Large Language Models (LLMs) that integrate diverse data types to empower decision-making. Among these, multimodal retrieval-augmented generation (RAG) applications are promising because they combine the strengths of information retrieval and generative models, enhancing their utility across various domains, including clinical use cases. This paper introduces AlzheimerRAG, a Multimodal RAG application for clinical use cases, primarily focusing on Alzheimer's Disease case studies from PubMed articles. This application incorporates cross-modal attention fusion techniques to integrate textual and visual data processing by efficiently indexing and accessing vast amounts of biomedical literature. Our experimental results, compared to benchmarks such as BioASQ and PubMedQA, have yielded improved performance in the retrieval and synthesis of domain-specific information. We also present a case study using our multimodal RAG in various Alzheimer's clinical scenarios. We infer that AlzheimerRAG can generate responses with accuracy non-inferior to humans and with low rates of hallucination.

研究动机与目标

• 通过统一文本、图像和临床数据，解决阿尔茨海默病研究中碎片化、多模态生物医学文献的挑战。
• 通过自动化整合 PubMed 文章中的复杂异构信息，减轻研究人员的认知负担。
• 通过将多模态数据与上下文感知检索相结合，提升阿尔茨海默病临床信息生成的准确性和可靠性。
• 在真实临床场景（如诊断、治疗规划和监测）中展示该流程的实用性。
• 通过检索增强生成和领域特定微调，最小化大语言模型生成回复中的幻觉现象。

提出的方法

• 采用多模态 RAG 流程，根据临床查询检索相关 PubMed 文章，整合文本、图像和表格数据。
• 利用跨模态注意力机制，将文本嵌入与神经影像学和组织病理学图像的视觉特征融合。
• 应用知识蒸馏技术压缩大型基础模型，实现实时推理的同时保持性能。
• 实施上下文感知检索模块，根据查询语义和领域特异性优先选择相关文档和图像。
• 利用基于 Transformer 的架构（如 LLaMA-7B、Mistral、GPT-4）在生物医学基准上进行微调，生成连贯且有证据支持的回复。
• 通过提示工程结合结构化指南，标准化输出质量并使其与临床最佳实践保持一致。

实验结果

研究问题

• RQ1 与标准大语言模型相比，多模态 RAG 流程是否能提升大语言模型在阿尔茨海默病临床推理中生成回复的准确性和上下文感知能力？
• RQ2 在生物医学问答任务中，整合视觉数据（如 MRI、PET 扫描）在多大程度上提升了检索与生成性能？
• RQ3 在多种临床场景下，AlzheimerRAG 与人类专家相比，在回复准确率和幻觉率方面表现如何？
• RQ4 该流程是否通过整合多模态生物医学证据，简化了信息获取，从而减轻了研究人员的认知任务负担？
• RQ5 该框架是否可泛化至阿尔茨海默病以外的其他神经退行性疾病，且仅需极少配置调整？

主要发现

• 在 50 个临床场景中，AlzheimerRAG 在诊断和监测任务中达到 100% 准确率，在药物管理任务中达到 90%，与人类专家表现一致。
• 该流程的幻觉率仅为 6%，与 GPT-4 水平相当，显著低于基线 LLaMA-7B（10%）和 Mistral（18%）。
• 在文献综述任务中，AlzheimerRAG 成功从 PubMed 文章中识别出阿尔茨海默病的新兴趋势和研究空白，且内容连贯、相关性强。
• 图像分析集成实现了视觉生物标志物（如淀粉样蛋白斑块、脑萎缩）与文本临床数据的准确关联，提升了诊断推理能力。
• 在 BioASQ 和 PubMedQA 基准测试中，AlzheimerRAG 的表现优于 GPT-4 和其他 LLM-RAG 基线模型，证实了其在生物医学信息检索中的鲁棒性。
• 临床案例研究显示，AlzheimerRAG 生成的回复在 84% 的情况下与人类生成答案无法区分，且与临床指南保持一致。