[논문 리뷰] BioDiscoveryAgent: An AI Agent for Designing Genetic Perturbation Experiments
BioDiscoveryAgent는 문헌 접근 및 비평 도구를 갖춘 LLM 기반 에이전트를 사용하여 유전적 교란 실험을 설계하고, 1유전자에서 다섯 라운드 동안 베이지안 최적화 baselines 대비 히트 수가 약 18% 더 많고 2유전자 교란의 정확도가 두 배로 증가.
Agents based on large language models have shown great potential in accelerating scientific discovery by leveraging their rich background knowledge and reasoning capabilities. In this paper, we introduce BioDiscoveryAgent, an agent that designs new experiments, reasons about their outcomes, and efficiently navigates the hypothesis space to reach desired solutions. We demonstrate our agent on the problem of designing genetic perturbation experiments, where the aim is to find a small subset out of many possible genes that, when perturbed, result in a specific phenotype (e.g., cell growth). Utilizing its biological knowledge, BioDiscoveryAgent can uniquely design new experiments without the need to train a machine learning model or explicitly design an acquisition function as in Bayesian optimization. Moreover, BioDiscoveryAgent, using Claude 3.5 Sonnet, achieves an average of 21% improvement in predicting relevant genetic perturbations across six datasets, and a 46% improvement in the harder task of non-essential gene perturbation, compared to existing Bayesian optimization baselines specifically trained for this task. Our evaluation includes one dataset that is unpublished, ensuring it is not part of the language model's training data. Additionally, BioDiscoveryAgent predicts gene combinations to perturb more than twice as accurately as a random baseline, a task so far not explored in the context of closed-loop experiment design. The agent also has access to tools for searching the biomedical literature, executing code to analyze biological datasets, and prompting another agent to critically evaluate its predictions. Overall, BioDiscoveryAgent is interpretable at every stage, representing an accessible new paradigm in the computational design of biological experiments with the potential to augment scientists' efficacy.
연구 동기 및 목표
- 새로운 모델을 학습하지 않고도 원하는 표현형을 획득하는 유전자 교란을 효율적으로 식별해야 한다는 필요성에서 동기 부여.
- 유전자 교란 실험을 설계하고 폐쇄 루프에서 결과를 추론하는 LLM 기반 에이전트를 개발한다.
- 생물의학 문헌 검색, 유전자 특징 질의 및 AI 비평가를 활용해 해석 및 인간-루프 피드백을 향상시킨다.
- 에이전트가 다중 데이터셋에서 히트 발견을 개선하고 유전자 쌍 교란으로 확장됨을 보여준다.
제안 방법
- Claude v1 Anthropic인 LLM을 중심 의사결정자로 사용해 라운드에 걸쳐 유전자 교란 계획을 생성한다.
- 각 라운드마다 작업 설명과 이전 라운드 결과를 포함한 프롬프트를 LLM에 제공하면, LLM이 다음에 교란할 유전자 집합을 출력한다.
- 도구를 도입: 상위 5개 요약 및 인용 구문을 행 참조한 PubMed API를 통한 문헌 검색; 유전자 특징 기반 유사/비유사 검색; 예측을 재평가하는 AI 비평가.
- 두 단계의 유전자 선택 접근법 채택: 초기 제안을 제한 없이 허용한 뒤 필요 시 검색 범위를 넓히기 위해 남은 유전자를 요약한다.
- 결정의 해석 가능성과 추적성을 촉진하기 위해 구조화된 응답 형식(Reflection, Research Plan, Solution)을 제공한다.
- 다섯 라운드에 걸쳐 라운드당 128개의 유전자를 시뮬레이션 교란하여 평가하며, 여러 ML 베이스라인 및 무작위 전략과 비교한다.

실험 결과
연구 질문
- RQ1LLM 기반 에이전트가 전통적인 획득 함수 기반 벤치마크를 능가하며 히트를 식별하는 유전자 교란 실험을 설계할 수 있는가?
- RQ2문헌 검색, 특징 기반 유전자 유사도, AI 비평의 통합이 폐쇄 루프 실험 설계를 향상시키는가?
- RQ3실제 데이터셋에서 단일 유전자 및 조합(2-유전자) 교란 과제에서 BioDiscoveryAgent의 성능은 어떠한가?
- RQ4이전 지식과 관찰된 결과가 여러 라운드에 걸친 의사결정 품질에 얼마나 기여하는가?
주요 결과
- 모든 도구를 사용한 BioDiscoveryAgent가 다섯 개의 1-유전자 데이터셋에 걸친 다섯 번째 라운드 이후 히트 비율에서 벤치마크 대비 평균 18% 더 높은 성과를 보인다.
- 비필수 유전자로 초점을 맞추면 성능이 벤치마크 대비 29%까지 개선된다.
- 2-유전자 교란의 경우 BioDiscoveryAgent가 다섯 라운드에 걸친 누적 히트에서 무작위 샘플링을 130% 앞선다.
- 모든 도구를 사용하면 최고의 성능을 얻고; No-Tools 변형은 대부분의 데이터세트에서 뒤처진다.
- 에이전트는 문헌 참조 및 경로 수준의 추론(예: IFNG 조절, 미토콘드리아 경로)을 포함한 해석 가능한 예측을 제공할 수 있다.
- 프로ンプ트+관찰(Prompt+Observation)(작업 설명과 이전 결과를 모두 사용)이 Prompt Only 또는 Observation Only보다 우수한 의사결정을 이끈다, 특히 초기 라운드에서.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.