[论文解读] MALADE: Orchestration of LLM-powered Agents with Retrieval Augmented Generation for Pharmacovigilance

Ji-Hye Choi, N E Palumbo+5 more|arXiv (Cornell University)|Aug 3, 2024

Academic integrity and plagiarism被引用 4

一句话总结

MALADE 是一个基于多智能体的 LLM 系统，结合检索增强生成（RAG）与评论者智能体，从药物说明书等来源高精度地提取并验证不良药物反应（ADE）关联。其在 OMOP 真实标签上的 AUC 达到 0.90，通过结构化编排与基于证据的推理显著提升了可靠性。

ABSTRACT

In the era of Large Language Models (LLMs), given their remarkable text understanding and generation abilities, there is an unprecedented opportunity to develop new, LLM-based methods for trustworthy medical knowledge synthesis, extraction and summarization. This paper focuses on the problem of Pharmacovigilance (PhV), where the significance and challenges lie in identifying Adverse Drug Events (ADEs) from diverse text sources, such as medical literature, clinical notes, and drug labels. Unfortunately, this task is hindered by factors including variations in the terminologies of drugs and outcomes, and ADE descriptions often being buried in large amounts of narrative text. We present MALADE, the first effective collaborative multi-agent system powered by LLM with Retrieval Augmented Generation for ADE extraction from drug label data. This technique involves augmenting a query to an LLM with relevant information extracted from text resources, and instructing the LLM to compose a response consistent with the augmented data. MALADE is a general LLM-agnostic architecture, and its unique capabilities are: (1) leveraging a variety of external sources, such as medical literature, drug labels, and FDA tools (e.g., OpenFDA drug information API), (2) extracting drug-outcome association in a structured format along with the strength of the association, and (3) providing explanations for established associations. Instantiated with GPT-4 Turbo or GPT-4o, and FDA drug label data, MALADE demonstrates its efficacy with an Area Under ROC Curve of 0.90 against the OMOP Ground Truth table of ADEs. Our implementation leverages the Langroid multi-agent LLM framework and can be found at https://github.com/jihyechoi77/malade.

研究动机与目标

• 解决从非结构化、异构的医学文本源（如药物说明书和临床记录）中准确提取不良药物反应（ADE）关联的挑战。
• 通过整合检索增强生成（RAG），克服独立 LLM 存在的幻觉现象及缺乏对最新医学数据的依赖性。
• 通过协作式多智能体架构（配备专门负责药物识别、不良反应收集与最终摘要生成的智能体）提升 ADE 提取的可靠性与一致性。
• 通过引入评论者智能体对推理流程各阶段的响应进行验证与优化，增强系统的可信度。
• 为每个 ADE 关联提供结构化、可解释的输出，并附带置信度评分，支持药物警戒中的透明决策。

提出的方法

• 采用多智能体编排框架，由专业化智能体分别处理不同子任务：DrugFinder（药物类别识别）、DrugAgent（不良反应提取）和 CategoryAgent（最终 ADE 关联合成）。
• 通过从外部来源（如 FDA OpenFDA API、药物说明书和医学文献）检索相关信息，集成检索增强生成（RAG），以增强 LLM 响应的可靠性。
• 为每个智能体配备专用的评论者智能体，评估其推理过程与事实一致性，支持迭代优化与错误修正。
• 使用 GPT-4 Turbo 或 GPT-4o 作为底层 LLM，通过精心设计的提示确保响应基于检索到的证据并具有逻辑合理性。
• 采用流水线架构，将前序智能体的输出作为后续智能体的输入，同时利用评论者反馈实现响应的动态修订。
• 为每个 ADE 预测（增加、减少、无影响）实施置信度评分，并通过消融配置的统计验证评估各组件的贡献。

Figure 1: Real-world demonstration of our proposed multi-agent orchestration system, MALADE. Handling the user query, “Are ACE Inhibitors associated with Angioedema?”, involves a sequence of subtasks performed by three Agents: DrugFinder , DrugAgent , CategoryAgent (each instantiated with GPT-4 Turb

实验结果

研究问题

• RQ1 与独立 LLM 相比，结合 RAG 的多智能体 LLM 系统是否能提升 ADE 提取的准确率与可靠性？
• RQ2 评论者智能体在降低 ADE 预测方差与提升置信度校准方面起到了何种作用？
• RQ3 RAG 在多大程度上增强了事实依据的可靠性并减少了药物警戒任务中的幻觉现象？
• RQ4 RAG 与评论者组件对系统性能与置信度评分的相对影响如何？
• RQ5 在不同 ADE 结果类别（增加、减少、无影响）中，系统在准确率与置信度校准方面的表现如何？

主要发现

• MALADE 在基于 OMOP 真实标签表的 ADE 提取任务中，曲线下面积（AUC）达到 0.90，表现出优异的性能。
• 同时引入 RAG 与评论者智能体显著提升了系统可靠性，p 值 < 0.05 表明评论者智能体尤其在‘无影响’类别的预测中改善了置信度校准。
• 仅使用 RAG 即可降低方差并提升性能，但 RAG 与评论者智能体的组合能产生最稳健且一致的结果。
• 输出方差主要由 CategoryAgent 引起，表明最终摘要阶段是整个流水线中最敏感的环节。
• 当缺少 RAG 时，系统性能与仅使用 RAG 的配置相当或更优，表明 RAG 对泛化能力与事实依据的建立至关重要。
• 配对 t 检验显示，当同时使用 RAG 与评论者智能体时，‘无影响’类预测的置信度显著提高，表明对阴性关联的可靠性得到增强。

Figure 2: Example of how iteration among responder methods works when a task T has sub-tasks [T1, T2] and T1 has a sub-task T3.