Skip to main content
QUICK REVIEW

[論文レビュー] BioDiscoveryAgent: An AI Agent for Designing Genetic Perturbation Experiments

Yusuf Roohani, Lee, Andrew|arXiv (Cornell University)|May 27, 2024
Evolutionary Algorithms and ApplicationsComputer Science被引用数 15
ひとこと要約

BioDiscoveryAgent は、文献アクセスと批評ツールを備えた LLM ベースのエージェントを用いて遺伝子攪乱実験を設計し、1遺伝子での5ラウンドにおいて Bayesian 最適化ベースラインより約18%多くヒットを得、2遺伝子攪乱の精度を倍増させる。

ABSTRACT

Agents based on large language models have shown great potential in accelerating scientific discovery by leveraging their rich background knowledge and reasoning capabilities. In this paper, we introduce BioDiscoveryAgent, an agent that designs new experiments, reasons about their outcomes, and efficiently navigates the hypothesis space to reach desired solutions. We demonstrate our agent on the problem of designing genetic perturbation experiments, where the aim is to find a small subset out of many possible genes that, when perturbed, result in a specific phenotype (e.g., cell growth). Utilizing its biological knowledge, BioDiscoveryAgent can uniquely design new experiments without the need to train a machine learning model or explicitly design an acquisition function as in Bayesian optimization. Moreover, BioDiscoveryAgent, using Claude 3.5 Sonnet, achieves an average of 21% improvement in predicting relevant genetic perturbations across six datasets, and a 46% improvement in the harder task of non-essential gene perturbation, compared to existing Bayesian optimization baselines specifically trained for this task. Our evaluation includes one dataset that is unpublished, ensuring it is not part of the language model's training data. Additionally, BioDiscoveryAgent predicts gene combinations to perturb more than twice as accurately as a random baseline, a task so far not explored in the context of closed-loop experiment design. The agent also has access to tools for searching the biomedical literature, executing code to analyze biological datasets, and prompting another agent to critically evaluate its predictions. Overall, BioDiscoveryAgent is interpretable at every stage, representing an accessible new paradigm in the computational design of biological experiments with the potential to augment scientists' efficacy.

研究の動機と目的

  • 新たなモデルをトレーニングせずに、所望の表現型を生み出す遺伝子攪乱を効率的に同定する必要性に動機づけられている。
  • LLM ベースのエージェントを開発し、遺伝子攪乱実験を設計し、結果を閉ループで推論する。
  • 生物医学文献検索、遺伝子特徴量検索、AI 批評家を活用して解釈と人の介入フィードバックを強化する。
  • エージェントが複数データセットにわたるヒット発見を改善し、遺伝子ペア攪乱へ拡張することを示す。

提案手法

  • 中心的な意思決定者として LLM(Claude v1 Anthropic)を用い、ラウンドごとに遺伝子攪乱計画を生成する。
  • 各ラウンドで、タスク記述と前ラウンドの結果を含むプロンプトを LLM に入力し、次に攪乱する遺伝子のセットを出力させる。
  • ツールを組み込む:Top-5 要約と行参照付き引用を含む PubMed API による文献検索;遺伝子特徴ベースの類似/非類似検索;予測を再評価する AI 批評家。
  • 2 段階の遺伝子選択アプローチを採用:初期は制限なく提案を許容し、必要に応じて残りの遺伝子を要約して検索範囲を広げる。
  • 解釈性と決定の追跡性を促進するため、構造化された応答形式(Reflection、Research Plan、Solution)を提供する。
  • 5 ラウンドで各ラウンドあたり128遺伝子のシミュレート攪乱を評価し、複数の ML ベースラインとランダム戦略と比較する。
Figure 1: An AI agent for closed-loop experiment design. (a) Conventional machine learning approach for experiment design involves training a machine learning model in every experimental round, scoring all perturbations and defining an acquisition function for selecting genes to perturb in the next
Figure 1: An AI agent for closed-loop experiment design. (a) Conventional machine learning approach for experiment design involves training a machine learning model in every experimental round, scoring all perturbations and defining an acquisition function for selecting genes to perturb in the next

実験結果

リサーチクエスチョン

  • RQ1LLM ベースのエージェントは、ヒットを識別するための従来の獲得関数ベースのベースラインよりも優れる遺伝子攪乱実験を設計できるか。
  • RQ2文献検索、特徴量に基づく遺伝子類似性、AI 批評を統合すると閉ループ型の実験設計は改善されるか。
  • RQ3BioDiscoveryAgent は実世界データセットにおける単遺伝子および組み合わせ(2-遺伝子)攪乱タスクでどのように性能を示すか。
  • RQ4複数ラウンドにわたって事前知識と観測結果が意思決定の品質にどの程度寄与するか。

主な発見

  • BioDiscoveryAgent はすべてのツールを用いると、5 ラウンド目のヒット比で基準より平均約18%上回る。
  • 非必須遺伝子に焦点を当てると、基準をさらに29%上回る。
  • 2 遺伝子攪乱では、5 ラウンドでの累積ヒット数で random sampling を130%上回る。
  • 全ツール使用が最も良好な性能を示し、No-Tools バリアントはほとんどのデータセットで遅れをとる。
  • エージェントは文献参照や経路レベルの推論を含む解釈可能な予測を提供できる(例:IFNG 調節、ミトコンドリア経路)。
  • Prompt+Observation(タスク記述と前結果の両方を使用)を用いると、Prompt のみまたは Observation のみの場合と比較して、特に初期ラウンドで優れた意思決定が誘導される。
Figure 2: BioDiscoveryAgent workflow with all tools over a single experimental round . Prompts and agent responses have been summarized. See Appendix F for full trace. (a) The input to the agent is the description of the problem. (b) In case of the literature search tool, the LLM first determines ap
Figure 2: BioDiscoveryAgent workflow with all tools over a single experimental round . Prompts and agent responses have been summarized. See Appendix F for full trace. (a) The input to the agent is the description of the problem. (b) In case of the literature search tool, the LLM first determines ap

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。