[論文レビュー] ClinicalAgent: Clinical Trial Multi-Agent System with Large Language Model-based Reasoning

Ling Yue, Xing, Sixue+2 more|arXiv (Cornell University)|Apr 23, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

CT-Agent は、GPT-4、LEAST-TO-MOST リasoning、および ReAct を活用した画期的なマルチエージェントシステムであり、臨床試験のタスク、特にアウトカム予測、失敗要因分析、期間推定を自律的に行う。アウトカム予測において 0.7908 の PR-AUC を達成し、標準的なプロンプティング手法よりも 0.3326 の向上を示し、臨床試験応用における強化された実行可能知能を実証した。

ABSTRACT

Large Language Models (LLMs) and multi-agent systems have shown impressive capabilities in natural language tasks but face challenges in clinical trial applications, primarily due to limited access to external knowledge. Recognizing the potential of advanced clinical trial tools that aggregate and predict based on the latest medical data, we propose an integrated solution to enhance their accessibility and utility. We introduce Clinical Agent System (ClinicalAgent), a clinical multi-agent system designed for clinical trial tasks, leveraging GPT-4, multi-agent architectures, LEAST-TO-MOST, and ReAct reasoning technology. This integration not only boosts LLM performance in clinical contexts but also introduces novel functionalities. The proposed method achieves competitive predictive performance in clinical trial outcome prediction (0.7908 PR-AUC), obtaining a 0.3326 improvement over the standard prompt Method. Publicly available code can be found at https://anonymous.4open.science/r/ClinicalAgent-6671.

研究の動機と目的

• 大規模言語モデル（LLM）の臨床試験応用において、しばしば会話的インタラクションにとどまるという、実行可能知能のギャップを埋めるため。
• 外部の知識ソースと推論技術を統合したマルチエージェントフレームワークを構築し、臨床試験意思決定を向上させること。
• 臨床試験のアウトカム、失敗理由、期間推定の自律的かつ説明可能で高精度な予測を可能にすること。
• LEAST-TO-MOST や ReAct といった高度な推論手法とマルチエージェントアーキテクチャを組み合わせることで、LLM の臨床現場における性能を向上させること。
• 対話から逸脱し、実行可能でデータ駆動型のインサイトを提供する LLM ベースのシステムのベンチマークを確立すること。

提案手法

• システムは、登録、安全性、有効性の各タスクに特化したエージェントを備えたマルチエージェントアーキテクチャを採用し、臨床試験推論における部分問題をそれぞれ処理する。
• 訓練済みの登録成功予測モデル（0.359 の失敗確率）や、過去の薬物安全性データ（アグレノキシドカプセルでは 100% の失敗率）といった外部ツールを統合している。
• 推論は、推論とツール利用を交互に実行する ReAct フレームワークに従い、複雑なクエリを管理可能なステップに分解する LEAST-TO-MOST プロンプティングを活用している。
• GPT-4 がコアとなる LLM として機能し、臨床試験の各コンponents における高度な自然言語理解と生成を可能にしている。
• Few-shot 学習を用いて性能を向上させ、エージェントは推論中に関連する例を動的に選択・適用している。
• 中央の推論エージェントが、専門エージェントと外部ツールからの入力を統合し、例えば高い信頼性で試験失敗を予測するような最終意思決定を生成している。

実験結果

リサーチクエスチョン

• RQ1 LLM を用いた推論を統合したマルチエージェントシステムは、標準的なプロンプティング手法を上回る臨床試験のアウトカム予測を可能にするか？
• RQ2 外部の知識ソースと推論フレームワークを統合することで、臨床試験管理における意思決定はどの程度向上するか？
• RQ3 登録、安全性、有効性などの専門エージェントの使用は、臨床試験予測の正確性と説明可能性をどの程度向上させるか？
• RQ4 構造的推論とツール利用を用いた場合、GPT-4 は GPT-3.5 よりも臨床試験のアウトカム予測において優れているか？
• RQ5 Few-shot 学習は、臨床試験推論タスクにおけるマルチエージェント LLM システムの性能にどのような影響を与えるか？

主な発見

• CT-Agent は、臨床試験のアウトカム予測において 0.7908 の PR-AUC を達成し、標準的なプロンプティングベースラインより 0.3326 の向上を示した。
• GPT-4 は全指標で GPT-3.5 を上回り、AUC（0.8347 対 0.824）と PR-AUC（0.7908 対 0.6793）の両方で高い値を記録し、高度な LLM の利点を裏付けた。
• Few-shot 学習を適用した CT-Agent のバージョンは、陽性例の特定において優れた性能（より高い PR-AUC）を示したが、やや低い正確度と F1 スコアであった。
• システムは、アグレノキシドカプセルの 100% の歴史的失敗率に起因する臨床試験の失敗を正しく予測し、安全面の推論が効果的であることを示した。
• 登録エージェントは、35.9% の失敗確率を正しく予測し、予測モデルを推論パイプラインに統合したことを実証した。
• 専門家のフィードバックと計算ベンチマークの両方から、CT-Agent が臨床試験プロセスにおける効率性と意思決定品質を顕著に向上させたことが確認された。