[论文解读] ClinicalAgent: Clinical Trial Multi-Agent System with Large Language Model-based Reasoning

Ling Yue, Xing, Sixue+2 more|arXiv (Cornell University)|Apr 23, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

CT-Agent 是一种新颖的多智能体系统，利用 GPT-4、LEAST-TO-MOST 推理和 ReAct，自主管理临床试验任务，包括结果预测、失败分析和持续时间估计。其在结果预测任务中达到 0.7908 的 PR-AUC，相比标准提示方法提升 0.3326，展现出临床试验应用中增强的可操作智能。

ABSTRACT

Large Language Models (LLMs) and multi-agent systems have shown impressive capabilities in natural language tasks but face challenges in clinical trial applications, primarily due to limited access to external knowledge. Recognizing the potential of advanced clinical trial tools that aggregate and predict based on the latest medical data, we propose an integrated solution to enhance their accessibility and utility. We introduce Clinical Agent System (ClinicalAgent), a clinical multi-agent system designed for clinical trial tasks, leveraging GPT-4, multi-agent architectures, LEAST-TO-MOST, and ReAct reasoning technology. This integration not only boosts LLM performance in clinical contexts but also introduces novel functionalities. The proposed method achieves competitive predictive performance in clinical trial outcome prediction (0.7908 PR-AUC), obtaining a 0.3326 improvement over the standard prompt Method. Publicly available code can be found at https://anonymous.4open.science/r/ClinicalAgent-6671.

研究动机与目标

• 为解决大型语言模型（LLMs）在临床试验应用中可操作智能的缺口，这些模型通常仅限于对话交互。
• 开发一种多智能体框架，整合外部知识源和推理技术，以提升临床试验决策能力。
• 实现对临床试验结果的自主、可解释且精确的预测，包括失败原因和持续时间估计。
• 通过结合多智能体架构与先进的推理方法（如 LEAST-TO-MOST 和 ReAct），提升 LLM 在临床环境中的表现。
• 建立一个超越对话、迈向可操作、数据驱动洞察的基于 LLM 的临床试验系统基准。

提出的方法

• 该系统采用多智能体架构，配备专门负责招募、安全和疗效任务的智能体，各自处理临床试验推理中的子问题。
• 整合外部工具，如训练好的招募成功率预测模型（失败概率为 0.359）和历史药物安全数据（Aggrenox 胶囊的 100% 失败率）。
• 推理受 ReAct 框架引导，该框架将推理与工具使用交织进行，同时结合 LEAST-TO-MOST 提示方法，将复杂查询分解为可管理的步骤。
• GPT-4 作为核心 LLM，支持在临床试验各组成部分中实现高级自然语言理解与生成。
• 系统采用少样本学习以提升性能，智能体在推理过程中动态选择并应用相关示例。
• 中央推理智能体整合来自专业智能体和外部工具的输入，生成最终决策，例如以高置信度预测试验失败。

实验结果

研究问题

• RQ1 基于 LLM 推理的多智能体系统是否能超越标准提示技术，在临床试验结果预测方面实现改进？
• RQ2 整合外部知识源和推理框架如何增强临床试验管理中的决策能力？
• RQ3 专业化智能体（如招募、安全、疗效）的使用在多大程度上提升了临床试验预测的准确性和可解释性？
• RQ4 在使用结构化推理和工具使用的情况下，GPT-4 与 GPT-3.5 在预测临床试验结果方面表现如何比较？
• RQ5 少样本学习对多智能体 LLM 系统在临床试验推理任务中的性能有何影响？

主要发现

• CT-Agent 在临床试验结果预测中实现了 0.7908 的 PR-AUC，相比标准提示基线提升 0.3326。
• GPT-4 在所有指标上均优于 GPT-3.5，AUC（0.8347 vs. 0.824）和 PR-AUC（0.7908 vs. 0.6793）均更高，证实了先进 LLM 的优势。
• CT-Agent 的少样本学习变体在识别阳性病例方面表现更优（PR-AUC 更高），尽管准确率和 F1 分数略低。
• 该系统正确预测了一项因 Aggrenox 胶囊历史失败率达 100% 而导致的临床试验失败，展示了有效的安全推理能力。
• 招募智能体成功预测了 35.9% 的招募失败概率，展示了将预测模型整合进推理流程的有效性。
• 专家反馈和计算基准均证实，CT-Agent 显著提升了临床试验流程的效率和决策质量。