[論文レビュー] DrugAgent: Automating AI-aided Drug Discovery Programming through LLM Multi-Agent Collaboration

Sizhe Liu, Yizhou Lu+5 more|arXiv (Cornell University)|Nov 24, 2024

Scientific Computing and Data Management被引用数 7

ひとこと要約

DrugAgent は、ドメイン固有ツールとダイナミックなアイデア空間管理を備えたマルチエージェント LLM フレームワークを用いて、創薬における ML プログラミングを自動化する。ケーススタディでは PAMPA データで ADMET 吸収予測の F1 スコアが 0.92 を達成。

ABSTRACT

Recent advancements in Large Language Models (LLMs) have opened new avenues for accelerating drug discovery processes. Despite their potential, several critical challenges remain unsolved, particularly in translating theoretical ideas into practical applications within the highly specialized field of pharmaceutical research, limiting practitioners from leveraging the latest AI development in drug discovery. To this end, we introduce DrugAgent, a multi-agent framework aimed at automating machine learning (ML) programming in drug discovery. DrugAgent incorporates domain expertise by identifying specific requirements and building domain-specific tools, while systematically exploring different ideas to find effective solutions. A preliminary case study demonstrates DrugAgent's potential to overcome key limitations LLMs face in drug discovery, moving toward AI-driven innovation. For example, DrugAgent is able to complete the ML programming pipeline end-to-end, from data acquisition to performance evaluation for the ADMET prediction task, and finally select the best model, where the random forest model achieves an F1 score of 0.92 when predicting absorption using the PAMPA dataset.

研究の動機と目的

• 一般目的の LLM 推論と創薬のドメイン特有のニーズとのギャップを埋める。
• データ取得からモデル評価まで、創薬分野の ML プログラミング作業を人のコーディングなしで自動化する。
• 探索効率を向上させるためのドメイン特有ツールとアイデア空間管理戦略を導入する。
• ADMET 予測のエンドツーエンド自動化を実演し、一般目的のフレームワークと比較する。

提案手法

• 創薬 ML プログラミングのための自動化された LLM ベースのマルチエージェントシステムを導入する。
• ドメイン知識ニーズを特定しツールを準備するために LLM インストラクターを組み込む。
• 生成と剪定を通じてアイデア空間を管理・精錬するために LLM プランナーを使用する。
• データ取得、フィンガープリント、モデル評価のためのユニットテスト付きのドメイン特有ツールと再利用可能なツールボックスを開発する。
• データ取得からモデル評価までのエンドツーエンドのパイプラインを実証し、最良のモデルを選択する。

Figure 1: Framework overview of DrugAgent. Given an AI-based drug discovery task described in natural language (i.e., user’s input, e.g., design an AI model to predict Absorption (one of the ADMET properties) using the PAMPA dataset (Siramshetty, Shah et al. 2021 ) , the LLM Planner first produces a

実験結果

リサーチクエスチョン

• RQ1 創薬における LLM 主導の ML プログラミングへ、ドメイン特有の知識をどのように明示的に特定し統合できるか。
• RQ2 マルチエージェントフレームワークは、実行不能またはサブ最適なアイデアを体系的に探索・剪定して自動化効率を向上させることができるか。
• RQ3 DrugAgent は標準的な AI 主導の創薬タスク（ADMET、DTI、分子最適化）で、一般目的のベースラインと比較してどう性能を示すか。

主な発見

• DrugAgent は PAMPA データに対する ADMET 予測のエンドツーエンド ML プログラミングを自動化できる。
• ランダムフォレストモデルは PAMPA 吸収予測で F1 = 0.92 および ROC-AUC = 0.817 を達成した。
• ChemBERTa は同じタスクで F1 = 0.916 および ROC-AUC = 0.776 を達成した。
• DrugAgent は、ドメイン知識とツール構築を効果的に統合することにより、一般目的フレームワーク（ReAct）を上回り、人間の介入への依存を減らした。
• このフレームワークはアイデア空間管理とドメインツールの構築を組み合わせ、効果のないアプローチ（例: 分子グラフ構築）を剪定する。

Figure 2: Comparison of ReAct (a) and DrugAgent (b) on an ADMET prediction task using the PAMPA dataset. ReAct, a general-purpose framework, fails due to hallucinated API calls and an inability to self-debug, requiring human intervention to proceed. It focuses solely on fine-tuning a pretrained lang