[논문 리뷰] MALADE: Orchestration of LLM-powered Agents with Retrieval Augmented Generation for Pharmacovigilance

Ji-Hye Choi, N E Palumbo외 5명|arXiv (Cornell University)|2024. 08. 03.

Academic integrity and plagiarism인용 수 4

한 줄 요약

MALADE는 고정밀도로 약물 라벨에서 약물 부작용(ADE) 연관성을 추출하고 검증하기 위해 Retrieval-Augmented Generation(RAG)과 비평가 에이전트를 활용하는 다중 에이전트 LLM 시스템이다. OMOP 기준값 대비 AUC 0.90을 달성하여 구조적 조율과 증거 기반 추론을 통해 신뢰도를 향상시켰다.

ABSTRACT

In the era of Large Language Models (LLMs), given their remarkable text understanding and generation abilities, there is an unprecedented opportunity to develop new, LLM-based methods for trustworthy medical knowledge synthesis, extraction and summarization. This paper focuses on the problem of Pharmacovigilance (PhV), where the significance and challenges lie in identifying Adverse Drug Events (ADEs) from diverse text sources, such as medical literature, clinical notes, and drug labels. Unfortunately, this task is hindered by factors including variations in the terminologies of drugs and outcomes, and ADE descriptions often being buried in large amounts of narrative text. We present MALADE, the first effective collaborative multi-agent system powered by LLM with Retrieval Augmented Generation for ADE extraction from drug label data. This technique involves augmenting a query to an LLM with relevant information extracted from text resources, and instructing the LLM to compose a response consistent with the augmented data. MALADE is a general LLM-agnostic architecture, and its unique capabilities are: (1) leveraging a variety of external sources, such as medical literature, drug labels, and FDA tools (e.g., OpenFDA drug information API), (2) extracting drug-outcome association in a structured format along with the strength of the association, and (3) providing explanations for established associations. Instantiated with GPT-4 Turbo or GPT-4o, and FDA drug label data, MALADE demonstrates its efficacy with an Area Under ROC Curve of 0.90 against the OMOP Ground Truth table of ADEs. Our implementation leverages the Langroid multi-agent LLM framework and can be found at https://github.com/jihyechoi77/malade.

연구 동기 및 목표

• 약물 라벨 및 임상 기록과 같은 비정형이고 이질적인 의료 텍스트 자료에서 정확한 약물 부작용(ADE) 연관성을 추출하는 데 도전한다.
• 단독 LLM의 한계인 환각 및 최신 의료 데이터 기반 부족 문제를 보완하기 위해 Retrieval-Augmented Generation(RAG)을 통합한다.
• 약물 식별, 부작용 수집, 최종 요약 등 전담 에이전트를 갖춘 협업형 다중 에이전트 아키텍처를 통해 ADE 추출의 신뢰성과 일관성을 향상시킨다.
• 각 추론 단계에서 응답을 검증하고 개선하는 비평가 에이전트를 통합함으로써 신뢰성을 높인다.
• 각 ADE 연관성에 대해 신뢰도 점수를 제공하는 구조적이고 해석 가능한 출력을 제공하여 약물 감시 분야에서 투명한 의사결정을 가능하게 한다.

제안 방법

• 특화된 에이전트가 각기 다른 하위 작업을 담당하는 다중 에이전트 조율 프레임워크를 활용한다: DrugFinder(약물 카테고리 식별), DrugAgent(부작용 추출), CategoryAgent(최종 ADE 연관성 융합).
• 외부 자료에서 정보를 검색함으로써 RAG를 통합한다. 예: FDA OpenFDA API, 약물 라벨, 의학 문헌.
• 각 에이전트에 전용 비평가 에이전트를 짝지어 응답의 추론 타당성과 사실 일관성을 평가함으로써 반복적인 개선과 오류 수정을 가능하게 한다.
• 기본 LLM으로 GPT-4 Turbo 또는 GPT-4o를 사용하며, 응답이 검색된 증거에 기반하고 논리적으로 타당하도록 프롬프트를 설계한다.
• 이전 에이전트의 출력을 후속 에이전트의 입력으로 사용하는 파이프라인 아키텍처를 적용하며, 비평가 피드백을 통해 동적 응답 수정을 가능하게 한다.
• 각 ADE 예측에 대해 신뢰도 점수(증가, 감소, 영향 없음)를 적용하고, 구성 요소 기여도 평가를 위해 분석된 설정에서 통계적 검증을 실시한다.

Figure 1: Real-world demonstration of our proposed multi-agent orchestration system, MALADE. Handling the user query, “Are ACE Inhibitors associated with Angioedema?”, involves a sequence of subtasks performed by three Agents: DrugFinder , DrugAgent , CategoryAgent (each instantiated with GPT-4 Turb

실험 결과

연구 질문

• RQ1 RAG를 통합한 다중 에이전트 LLM 시스템이 단독 LLM에 비해 ADE 추출의 정확성과 신뢰도를 향상시키는가?
• RQ2 비평가 에이전트는 ADE 예측의 분산 감소와 신뢰도 校정 개선에 어떻게 기여하는가?
• RQ3 RAG는 약물 감시 작업에서 사실 기반 성격 향상과 환각 감소에 얼마나 기여하는가?
• RQ4 시스템 성능과 신뢰도 점수에 대해 RAG와 비평가 구성 요소의 상대적 영향은 어떠한가?
• RQ5 다양한 ADE 결과 유형(증가, 감소, 영향 없음)에 대해 시스템의 정확성과 신뢰도 校정 능력은 어떻게 평가되는가?

주요 결과

• MALADE는 ADE에 대한 OMOP 기준값 표와 비교해 AUC 0.90을 달성하여 ADE 추출 성능이 매우 높음을 입증한다.
• RAG와 비평가 에이전트를 모두 포함할 경우 신뢰도가 크게 향상되며, p값 < 0.05로 비평가가 특히 '영향 없음' 사례의 신뢰도 校정을 향상시킴을 확인했다.
• RAG만 존재할 경우도 비평가만 존재할 경우보다 분산 감소와 성능 향상이 이루어지지만, 두 구성 요소를 병행할 경우 가장 강력하고 일관성 있는 결과를 얻는다.
• 출력의 분산은 주로 CategoryAgent에서 기인하며, 이는 파이프라인에서 최종 요약 단계가 가장 민감한 단계임을 시사한다.
• RAG가 없을 경우 RAG만 있는 설정과 비교해 성능이 유사하거나 뛰어나, RAG가 일반화 및 사실 기반 성격 확보에 필수적임을 시사한다.
• 대응 t-검정 결과, RAG와 비평가를 모두 사용할 경우 '영향 없음' 예측의 신뢰도가 유의미하게 높아져 부정적 연관성에 대한 신뢰성이 향상됨을 입증했다.

Figure 2: Example of how iteration among responder methods works when a task T has sub-tasks [T1, T2] and T1 has a sub-task T3.