[論文レビュー] MALADE: Orchestration of LLM-powered Agents with Retrieval Augmented Generation for Pharmacovigilance

Ji-Hye Choi, N E Palumbo+5 more|arXiv (Cornell University)|Aug 3, 2024

Academic integrity and plagiarism被引用数 4

ひとこと要約

MALADEは、リtrieval-Augmented Generation (RAG) およびクリティシズ・エージェントを用いて、高精度で薬物添付文書からの副作用関連性（ADE）を抽出・検証するマルチエージェントLLMシステムである。OMOPの正例データに対してAUC 0.90を達成し、構造的なオーケストレーションと根拠に基づく推論により、信頼性が向上している。

ABSTRACT

In the era of Large Language Models (LLMs), given their remarkable text understanding and generation abilities, there is an unprecedented opportunity to develop new, LLM-based methods for trustworthy medical knowledge synthesis, extraction and summarization. This paper focuses on the problem of Pharmacovigilance (PhV), where the significance and challenges lie in identifying Adverse Drug Events (ADEs) from diverse text sources, such as medical literature, clinical notes, and drug labels. Unfortunately, this task is hindered by factors including variations in the terminologies of drugs and outcomes, and ADE descriptions often being buried in large amounts of narrative text. We present MALADE, the first effective collaborative multi-agent system powered by LLM with Retrieval Augmented Generation for ADE extraction from drug label data. This technique involves augmenting a query to an LLM with relevant information extracted from text resources, and instructing the LLM to compose a response consistent with the augmented data. MALADE is a general LLM-agnostic architecture, and its unique capabilities are: (1) leveraging a variety of external sources, such as medical literature, drug labels, and FDA tools (e.g., OpenFDA drug information API), (2) extracting drug-outcome association in a structured format along with the strength of the association, and (3) providing explanations for established associations. Instantiated with GPT-4 Turbo or GPT-4o, and FDA drug label data, MALADE demonstrates its efficacy with an Area Under ROC Curve of 0.90 against the OMOP Ground Truth table of ADEs. Our implementation leverages the Langroid multi-agent LLM framework and can be found at https://github.com/jihyechoi77/malade.

研究の動機と目的

• 薬物添付文書や臨床ノートなどの非構造的かつ多様な医療テキストから、正確な副作用関連性（ADE）を抽出する課題に対処すること。
• 独自のLLMでは発生しやすい幻覚や最新の医療データへの根拠の欠如といった制限を、リtrieval-Augmented Generation (RAG) の統合により克服すること。
• 薬物特定、副作用収集、最終要約の各専任エージェントを備えた協働的マルチエージェントアーキテクチャを採用し、ADE抽出の信頼性と一貫性を向上させること。
• 推論パイプラインの各段階で応答を検証・精錬するクリティシズ・エージェントを組み込むことで、信頼性を高めること。
• 各ADE関連性に自信スコアを付与する構造的かつ説明可能な出力を提供し、薬物副反応監視における透明な意思決定を可能にすること。

提案手法

• 専門的なエージェントが別々のサブタスクを担当するマルチエージェントオーケストレーションフレームワークを採用：DrugFinder（薬物カテゴリ特定）、DrugAgent（副作用抽出）、CategoryAgent（最終的なADE関連性の統合）。
• 外部データソース（FDA OpenFDA API、薬物添付文書、医学文献など）から関連情報を取得することで、リtrieval-Augmented Generation (RAG) を統合し、LLMの応答を根拠づける。
• 各エージェントに専任のクリティシズ・エージェントを対応させ、応答の推論的整合性と事実の整合性を評価し、反復的改善と誤り訂正を可能にする。
• GPT-4 Turbo や GPT-4o を基盤LLMとして使用し、プロンプトを設計して応答が取得した証拠に基づき、論理的に正当化されたものとなるようにする。
• パイプラインアーキテクチャを採用し、初期段階のエージェントの出力を次の段階のエージェントの入力として使用し、クリティシズからのフィードバックにより動的応答修正を実現する。
• 各ADE予測（増加、減少、効果なし）に対して自信スコアを付与し、アブレーション構成の統計的妥当性を確認することで、各モジュールの貢献度を評価する。

Figure 1: Real-world demonstration of our proposed multi-agent orchestration system, MALADE. Handling the user query, “Are ACE Inhibitors associated with Angioedema?”, involves a sequence of subtasks performed by three Agents: DrugFinder , DrugAgent , CategoryAgent (each instantiated with GPT-4 Turb

実験結果

リサーチクエスチョン

• RQ1 RAGを備えたマルチエージェントLLMシステムは、単独のLLMと比較して、ADE抽出の正確性と信頼性を向上させることができるか？
• RQ2 クリティシズ・エージェントは、ADE予測の分散低減および自信スコアのキャリブレーション向上にどのように寄与するか？
• RQ3 RAGは、薬物副反応監視タスクにおいて事実の根拠づけを強化し、幻覚を低減する程度はどの程度か？
• RQ4 システムのパフォーマンスおよび自信スコアに与えるRAGとクリティシズの相対的影響は何か？
• RQ5 増加、減少、効果なしの各ADE結果カテゴリにおいて、システムの正確性および自信スコアのキャリブレーションはどの程度の水準にあるか？

主な発見

• MALADEは、ADEのOMOP正例データテーブルを基準に評価した結果、受信器特性曲線下積分（AUC）が0.90に達し、ADE抽出の高水準な性能を示している。
• RAGとクリティシズ・エージェントの両方を組み込むことで信頼性が顕著に向上し、p値 < 0.05の有意差が得られ、特に「効果なし」のケースにおいて自信スコアのキャリブレーションが向上している。
• RAG単体でも分散が低減され、性能が向上するが、両者の組み合わせが最も強固で一貫性のある結果をもたらしている。
• 出力の分散は主にCategoryAgentに起因しており、パイプラインの中で最終要約処理が最も感受性が高い段階であることが示された。
• RAGが欠落している場合、RAG単体の構成と同等またはそれ以上の性能を示すため、RAGは一般化および事実の根拠づけに不可欠であることが示唆された。
• 対応t検定の結果、RAGとクリティシズの両方を用いることで、「効果なし」の予測に対する自信が顕著に向上しており、否定的関連性の信頼性が向上していることが確認された。

Figure 2: Example of how iteration among responder methods works when a task T has sub-tasks [T1, T2] and T1 has a sub-task T3.