[论文解读] Bailicai: A Domain-Optimized Retrieval-Augmented Generation Framework for Medical Applications

Cui Long, Yongbin Liu+2 more|arXiv (Cornell University)|Jul 24, 2024

Recommender Systems and Techniques被引用 5

一句话总结

Bailicai 将检索增强生成（RAG）与领域优化模块相结合，并引入新颖的有向无环图（DAG）任务分解，以提升医疗领域大型语言模型的性能并减少幻觉。

ABSTRACT

Large Language Models (LLMs) have exhibited remarkable proficiency in natural language understanding, prompting extensive exploration of their potential applications across diverse domains. In the medical domain, open-source LLMs have demonstrated moderate efficacy following domain-specific fine-tuning; however, they remain substantially inferior to proprietary models such as GPT-4 and GPT-3.5. These open-source models encounter limitations in the comprehensiveness of domain-specific knowledge and exhibit a propensity for 'hallucinations' during text generation. To mitigate these issues, researchers have implemented the Retrieval-Augmented Generation (RAG) approach, which augments LLMs with background information from external knowledge bases while preserving the model's internal parameters. However, document noise can adversely affect performance, and the application of RAG in the medical field remains in its nascent stages. This study presents the Bailicai framework: a novel integration of retrieval-augmented generation with large language models optimized for the medical domain. The Bailicai framework augments the performance of LLMs in medicine through the implementation of four sub-modules. Experimental results demonstrate that the Bailicai approach surpasses existing medical domain LLMs across multiple medical benchmarks and exceeds the performance of GPT-3.5. Furthermore, the Bailicai method effectively attenuates the prevalent issue of hallucinations in medical applications of LLMs and ameliorates the noise-related challenges associated with traditional RAG techniques when processing irrelevant or pseudo-relevant documents.

研究动机与目标

• 将检索增强生成与领域特定知识注入相结合，以提升开源大型语言模型在医疗问答中的表现。
• 通过使用自我知识边界识别和基于DAG的任务分解，减轻医疗RAG中的幻觉和噪声。
• 构建并整理 Bailicai 医疗数据集，采用有针对性的数据筛选和提示策略，以实现稳健的医疗推理。
• 展示在多个基准测试上相较现有医疗LLM和GPT-3.5的性能提升。

提出的方法

• 四模块 Bailicai 架构：医疗知识注入、自我知识边界识别、有向无环图（DAG）任务分解，以及检索增强生成（RAG）。
• 面向模型的指令数据筛选（MoDS），以整理 UltraMedical 派生的训练数据。
• 使用 Meta-Llama-3-70B 的任务驱动适应和数据蒸馏，以及在 Meta-Llama-3-8B 上的 LoRA 微调。
• RAG 使用 MedCPT 进行检索，配合密集编码器和 BiS 模型进行再排序，以选择前文档。
• 自我知识边界识别用于确定是否需要外部知识，降低检索延迟。
• DAG 任务分解将复杂医疗任务表示为分层的有向无环图，以进行系统的子任务处理。
• 医疗知识注入将金标准文档和干扰文档融合到训练中，以提高引文准确性并缓解干扰。

实验结果

研究问题

• RQ1 Bailicai 是否能在标准医疗问答基准上超过开源医疗LLM 并超越 GPT-3.5？
• RQ2 自我知识边界识别方法是否在维持或提升准确率的同时，减少不必要的检索和延迟？
• RQ3 基于 DAG 的任务分解是否改善对复杂医疗查询的处理并减少来自检索文档的噪声？
• RQ4 Bailicai 中基于 MedCPT 的检索与再排序管线在医疗文献问答中的效果如何？
• RQ5 MoDS 驱动的数据筛选和提示策略对医疗任务中模型性能的影响如何？

主要发现

• Bailicai 在多个基准上超过现有的医疗领域LLM，并超越 GPT-3.5 的性能。
• 该框架在LLM的医疗应用中有效减轻幻觉。
• Bailicai 在处理无关或伪相关文档时缓解传统RAG常见的噪声问题。
• 有向无环图任务分解提供一种结构化、分层的方法来处理复杂医疗任务，从而改善检索的知识组织。
• 区域特定知识注入、自我知识边界识别以及基于DAG的分解的组合在实验中表现出对噪声的鲁棒抵抗。