[논문 리뷰] ClinicalAgent: Clinical Trial Multi-Agent System with Large Language Model-based Reasoning

Ling Yue, Xing, Sixue외 2명|arXiv (Cornell University)|2024. 04. 23.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

CT-Agent는 GPT-4, LEAST-TO-MOST 추론 및 ReAct를 활용하여 임상 시험 작업을 자율적으로 관리하는 혁신적인 다중 에이전트 시스템이다. 이는 결과 예측, 실패 원인 분석 및 기간 추정을 포함한다. 결과 예측에서 0.7908의 PR-AUC를 달성하였으며, 표준 프롬프팅 대비 0.3326 향상되어 임상 시험 적용 분야에서 향상된 실천 가능한 지능을 입증한다.

ABSTRACT

Large Language Models (LLMs) and multi-agent systems have shown impressive capabilities in natural language tasks but face challenges in clinical trial applications, primarily due to limited access to external knowledge. Recognizing the potential of advanced clinical trial tools that aggregate and predict based on the latest medical data, we propose an integrated solution to enhance their accessibility and utility. We introduce Clinical Agent System (ClinicalAgent), a clinical multi-agent system designed for clinical trial tasks, leveraging GPT-4, multi-agent architectures, LEAST-TO-MOST, and ReAct reasoning technology. This integration not only boosts LLM performance in clinical contexts but also introduces novel functionalities. The proposed method achieves competitive predictive performance in clinical trial outcome prediction (0.7908 PR-AUC), obtaining a 0.3326 improvement over the standard prompt Method. Publicly available code can be found at https://anonymous.4open.science/r/ClinicalAgent-6671.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)의 임상 시험 적용 분야에서 실천 가능한 지능의 격차를 해소하기 위해, 일반적으로 대화형 상호작용에 국한되는 경향이 있는 LLMs의 한계를 극복하고자 한다.
• 외부 지식 소스와 추론 기법을 통합하여 임상 시험 의사결정을 향상시키는 다중 에이전트 프레임워크를 개발하고자 한다.
• 임상 시험 결과의 자율적이고 설명 가능하며 정밀한 예측, 실패 이유 및 기간 추정을 가능하게 하고자 한다.
• LEAST-TO-MOST 및 ReAct와 같은 고급 추론 방법과 다중 에이전트 아키텍처를 융합하여 LLM의 임상 환경에서의 성능을 향상시키고자 한다.
• 대화를 넘어서 실질적이고 데이터 기반의 통찰을 제공하는 LLM 기반 시스템의 기준을 설정하고자 한다.

제안 방법

• 시스템은 등록, 안전성, 유효성과 같은 임상 시험 추론의 하위 문제를 처리하기 위해 전문화된 에이전트를 갖춘 다중 에이전트 아키텍처를 활용한다.
• 기존 모델을 활용한 등록 성공 예측 모델(0.359의 실패 확률)과 이전 약물 안전성 데이터(100%의 실패율을 가진 Aggrenox 캡슐)와 같은 외부 도구를 통합한다.
• ReAct 프레임워크는 추론과 도구 사용을 번갈아 수행함으로써 추론을 이끌며, LEAST-TO-MOST 프롬프팅을 통해 복잡한 질의를 다룰 수 있는 단계로 분해한다.
• GPT-4는 고급 자연어 이해 및 생성 능력을 제공하는 핵심 LLM으로서 임상 시험 구성 요소 전반에서 기능한다.
• 성능 향상을 위해 소수의 예시 학습(few-shot learning)을 사용하며, 에이전트는 추론 과정에서 관련 예시를 동적으로 선택하고 적용한다.
• 중앙 추론 에이전트는 전문 에이전트와 외부 도구로부터의 입력을 통합하여 최종 결정을 도출한다. 예를 들어, 높은 신뢰도로 임상 시험 실패를 예측하는 것과 같은 결정을 내린다.

실험 결과

연구 질문

• RQ1 LLM 기반 추론을 활용한 다중 에이전트 시스템이 표준 프롬프팅 기법을 초월하여 임상 시험 결과 예측을 향상시킬 수 있는가?
• RQ2 외부 지식 소스와 추론 프레임워크를 통합할 경우, 임상 시험 관리의 의사결정 과정에 어떤 영향을 미치는가?
• RQ3 등록, 안전성, 유효성과 같은 전문화된 에이전트의 사용이 임상 시험 예측의 정확성과 설명 가능성에 얼마나 기여하는가?
• RQ4 GPT-4는 구조화된 추론과 도구 사용을 활용할 때 GPT-3.5보다 임상 시험 결과 예측에서 성능이 뛰어나다고 할 수 있는가?
• RQ5 소수의 예시 학습이 임상 시험 추론 작업에서 다중 에이전트 LLM 시스템의 성능에 어떤 영향을 미치는가?

주요 결과

• CT-Agent는 임상 시험 결과 예측에서 0.7908의 PR-AUC를 달성하였으며, 이는 표준 프롬프팅 기반 베이스라인 대비 0.3326 향상된 결과이다.
• GPT-4는 모든 지표에서 GPT-3.5를 초월하였으며, ROC-AUC(0.8347 대비 0.824)와 PR-AUC(0.7908 대비 0.6793) 모두 높은 성능을 보여, 고급 LLM의 이점을 확인하였다.
• 소수의 예시 학습 버전의 CT-Agent는 다소 낮은 정확도와 F1 스코어를 보였음에도 불구하고, 긍정 사례 식별에서 뛰어난 성능(높은 PR-AUC)을 보였다.
• 시스템은 Aggrenox 캡슐의 이전 실패율이 100%라는 사실을 바탕으로 임상 시험 실패를 정확히 예측하여 안전성 추론의 효과성을 입증하였다.
• 등록 에이전트는 35.9%의 실패 확률을 성공적으로 예측하여 예측 모델을 추론 파이프라인에 통합한 것을 입증하였다.
• 전문가 피드백과 계산 기반 벤치마크는 CT-Agent가 임상 시험 과정의 효율성과 의사결정 품질을 크게 향상시켰음을 확인하였다.