[논문 리뷰] CellAgent: An LLM-driven Multi-Agent Framework for Automated Single-cell Data Analysis

Yihang Xiao, Jinyi Liu외 10명|arXiv (Cornell University)|2024. 07. 13.

Gene Regulatory Network Analysis인용 수 6

한 줄 요약

CellAgent는 Planner, Executor, Evaluator 역할을 조정하여 엔드-투-엔드 단일세포 RNA-seq 분석을 자율적으로 실행하는 LLM 기반 다중 에이전트 프레임워크이며, 고품질 결과를 보장하기 위한 자기 반복 최적화를 수행합니다.

ABSTRACT

Single-cell RNA sequencing (scRNA-seq) data analysis is crucial for biological research, as it enables the precise characterization of cellular heterogeneity. However, manual manipulation of various tools to achieve desired outcomes can be labor-intensive for researchers. To address this, we introduce CellAgent (http://cell.agent4science.cn/), an LLM-driven multi-agent framework, specifically designed for the automatic processing and execution of scRNA-seq data analysis tasks, providing high-quality results with no human intervention. Firstly, to adapt general LLMs to the biological field, CellAgent constructs LLM-driven biological expert roles - planner, executor, and evaluator - each with specific responsibilities. Then, CellAgent introduces a hierarchical decision-making mechanism to coordinate these biological experts, effectively driving the planning and step-by-step execution of complex data analysis tasks. Furthermore, we propose a self-iterative optimization mechanism, enabling CellAgent to autonomously evaluate and optimize solutions, thereby guaranteeing output quality. We evaluate CellAgent on a comprehensive benchmark dataset encompassing dozens of tissues and hundreds of distinct cell types. Evaluation results consistently show that CellAgent effectively identifies the most suitable tools and hyperparameters for single-cell analysis tasks, achieving optimal performance. This automated framework dramatically reduces the workload for science data analyses, bringing us into the "Agent for Science" era.

연구 동기 및 목표

• 인간의 개입 없이 엔드투엔드 scRNA-seq 데이터 분석 자동화.
• 분석을 계획하고 실행하며 평가하기 위해 전문 생물학 전문 역할을 활용합니다.
• 출력을 개선하기 위한 계층적 계획 및 자기 반복 최적화를 가능하게 합니다.

제안 방법

• 세 가지 LLM 구동 생물학적 전문 역할을 도입합니다: Planner(고수준 작업 계획), Executor(하위 작업 실행 및 코드 생성), Evaluator(품질 평가 및 최적화).
• 계층적 의사결정 메커니즘을 구현하여 Planner와 Executors를 하위 작업 전반에서 조정합니다.
• Evaluator가 계획 수정을 유도하도록 하는 자기 반복 최적화 루프를 포함하고, 코드 실행에 대한 예외 처리도 포함합니다.
• 이력 관리 및 사용 가능한 분석 도구를 관리하기 위한 메모리 및 도구 검색 시스템을 제공하며, 안전을 위해 코드 샌드박스에서 실행됩니다.
• 배치 보정 평가 및 궤적 시각화를 위해 GPT-4V를, 여러 도구에서 세포 타입 주석을 집계하기 위해 GPT-4를 활용합니다.

실험 결과

연구 질문

• RQ1 CellAgent가 자연어 입력으로부터 복잡한 scRNA-seq 분석 과제를 자율적으로 분해하고 실행할 수 있습니까?
• RQ2 다중 에이전트 협력이 단일 모델 기준선에 비해 작업 완료율과 결과 품질을 개선합니까?
• RQ3 계층적 계획 및 자기 반복 최적화가 전처리, 배치 보정, 세포 타입 주석 및 궤적 추정에 어떤 영향을 미칩니까?
• RQ4 통합 도구, 메모리 및 코드 샌드박싱이 결과의 견고성과 재현성에 어떤 영향을 미칩니까?

주요 결과

• CellAgent는 벤치마크 전반에서 92%의 포괄적 작업 완료율을 달성했고, GPT-4 단독을 능가했습니다.
• 배치 보정 작업에서 CellAgent는 9개 데이터셋에서 배치 보정 및 생물 보존에서 최고 점수를 달성했습니다.
• CellAgent는 여러 조직과 유기체에 걸친 세포 유형 주석의 평균 정확도가 우수했으며 PBMC 데이터에 대한 전문가 주석과 높은 일치를 보였습니다.
• 궤적 추정에서 CellAgent는 비교 방법들 중 최상의 총점을 달성했고 생물학적으로 해석 가능한 궤적을 보였습니다.
• 이 프레임워크는 단일세포 분석에 적합한 도구와 하이퍼파라미터를 일관되게 식별했으며 여러 작업에서 기존 도구에 필적하거나 이를 능가했습니다.