[论文解读] CellAgent: An LLM-driven Multi-Agent Framework for Automated Single-cell Data Analysis

Yihang Xiao, Jinyi Liu+10 more|arXiv (Cornell University)|Jul 13, 2024

Gene Regulatory Network Analysis被引用 6

一句话总结

CellAgent 是一个基于 LLM 的多代理框架，通过协调 Planner、Executor 和 Evaluator 角色，自治执行端到端的单细胞 RNA-seq 分析，并进行自我迭代优化以确保高质量结果。

ABSTRACT

Single-cell RNA sequencing (scRNA-seq) data analysis is crucial for biological research, as it enables the precise characterization of cellular heterogeneity. However, manual manipulation of various tools to achieve desired outcomes can be labor-intensive for researchers. To address this, we introduce CellAgent (http://cell.agent4science.cn/), an LLM-driven multi-agent framework, specifically designed for the automatic processing and execution of scRNA-seq data analysis tasks, providing high-quality results with no human intervention. Firstly, to adapt general LLMs to the biological field, CellAgent constructs LLM-driven biological expert roles - planner, executor, and evaluator - each with specific responsibilities. Then, CellAgent introduces a hierarchical decision-making mechanism to coordinate these biological experts, effectively driving the planning and step-by-step execution of complex data analysis tasks. Furthermore, we propose a self-iterative optimization mechanism, enabling CellAgent to autonomously evaluate and optimize solutions, thereby guaranteeing output quality. We evaluate CellAgent on a comprehensive benchmark dataset encompassing dozens of tissues and hundreds of distinct cell types. Evaluation results consistently show that CellAgent effectively identifies the most suitable tools and hyperparameters for single-cell analysis tasks, achieving optimal performance. This automated framework dramatically reduces the workload for science data analyses, bringing us into the "Agent for Science" era.

研究动机与目标

• 在没有人类干预的情况下实现端到端的 scRNA-seq 数据分析自动化。
• 利用专业的生物学专家角色来规划、执行和评估分析。
• 实现分层规划和自我迭代优化以提升输出。

提出的方法

• 引入三种基于 LLM 的生物学专家角色：Planner（高层任务规划）、Executor（子任务执行与代码生成）、Evaluator（质量评估与优化）。
• 实现一种分层决策机制，在子任务之间协调 Planner 和 Executors。
• 引入一个自我迭代优化循环，由 Evaluator 指导 Executor 细化计划，并对代码执行进行异常处理。
• 提供一个记忆与工具检索系统来管理历史记录和可用分析工具，在代码沙箱中执行以保障安全性。
• 使用 GPT-4V 评估批次效应校正和轨迹可视化，使用 GPT-4 聚合来自多个工具的细胞类型注释。

实验结果

研究问题

• RQ1 CellAgent 是否能够从自然语言输入中自主分解并执行复杂的 scRNA-seq 分析任务？
• RQ2 与单一模型基线相比，多代理协作是否提高了任务完成率和结果质量？
• RQ3 分层规划和自我迭代优化在预处理、批次校正、细胞类型注释和轨迹推断中的影响？
• RQ4 集成工具、记忆与代码沙箱对结果的鲁棒性与可重复性有何影响？

主要发现

• CellAgent 在基准测试中实现了 92% 的全面任务完成率，优于单独的 GPT-4。
• 在批次校正任务中，CellAgent 在九个数据集的批次校正和生物保守性方面均取得最高分。
• CellAgent 在多种组织和生物体的细胞类型注释的平均准确度方面表现优越，与 PBMC 数据的专家注释高度一致。
• 在轨迹推断中，CellAgent 在比较方法中获得了最好的综合分数，并展示了生物学上可解释的轨迹。
• 该框架在单细胞分析中始终能够识别合适的工具及超参数，在若干任务中达到或超越现有工具。