[論文レビュー] The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery

Chris Lu, Cong Lu+4 more|arXiv (Cornell University)|Aug 12, 2024

Scientific Computing and Data Management被引用数 93

ひとこと要約

AI Scientist は自動的に研究アイデアを生み出し、コードを書き、実験を実行し、完全な論文を執筆し、エンドツーエンドのオープンエンドML発見を可能にする自動レビューを実施します。

ABSTRACT

One of the grand challenges of artificial general intelligence is developing agents capable of conducting scientific research and discovering new knowledge. While frontier models have already been used as aides to human scientists, e.g. for brainstorming ideas, writing code, or prediction tasks, they still conduct only a small part of the scientific process. This paper presents the first comprehensive framework for fully automatic scientific discovery, enabling frontier large language models to perform research independently and communicate their findings. We introduce The AI Scientist, which generates novel research ideas, writes code, executes experiments, visualizes results, describes its findings by writing a full scientific paper, and then runs a simulated review process for evaluation. In principle, this process can be repeated to iteratively develop ideas in an open-ended fashion, acting like the human scientific community. We demonstrate its versatility by applying it to three distinct subfields of machine learning: diffusion modeling, transformer-based language modeling, and learning dynamics. Each idea is implemented and developed into a full paper at a cost of less than $15 per paper. To evaluate the generated papers, we design and validate an automated reviewer, which we show achieves near-human performance in evaluating paper scores. The AI Scientist can produce papers that exceed the acceptance threshold at a top machine learning conference as judged by our automated reviewer. This approach signifies the beginning of a new era in scientific discovery in machine learning: bringing the transformative benefits of AI agents to the entire research process of AI itself, and taking us closer to a world where endless affordable creativity and innovation can be unleashed on the world's most challenging problems. Our code is open-sourced at https://github.com/SakanaAI/AI-Scientist

研究の動機と目的

• 孤立した自動化タスクを超えた、完全自動化のオープンエンドな科学発見を動機付け、実現する。
• frontier LLMs がアイデア出し、計画、実験実行、原稿執筆、MLのサブ分野でのレビューの模擬を行うエンドツーエンドのパイプラインを実証する。
• 自動レビューがほぼ人間に近い性能に達しうることを示し、反復的な知識蓄積を導く。

提案手法

• LLM駆動のエージェント（The AI Scientist）を用いて新規な研究アイデアを生成し、Noveltyと実現可能性を評価する。
• 計画指向のコード変更を実装し、実験を実行するためにLLMベースのコーディングアシスタント Aider を活用する。
• 実験ノートと結果から自動的に図表とLaTeX原稿セクションを生成する。
• 会議ガイドラインに沿ったGPT-4oベースのレビュアーを用いて模擬的な審査プロセスを実行する。
• 発見されたアイデアやアーティファクトのエンドレスなアーカイブを維持し、反復的な成長を促す。

実験結果

リサーチクエスチョン

• RQ1 自動的なシステムは最小限の人間介入で新規ML研究アイデアを生成、実行、報告できるか？
• RQ2 複数のサブ分野にまたがる完全自動ML研究の実現可能性とコストはどの程度か？
• RQ3 自動レビュアーは自動化されたML論文を人間の査読と比べてどれほど評価できるか？
• RQ4 エンドツーエンドの自動科学探索の強み・限界・倫理的配慮は何か？

主な発見

• AI Scientist は低コストで完全なML論文を生成・実行できる（1論文あたり$15未満）。
• 自動化されたLLMレビュアーはICLR/NeurIPS風ベンチマークの主要評価指標でほぼ人間と同等の性能を達成する。
• パイプラインは、アイデア創出、実験、原稿ドラフト、自動レビューを含むエンドツーエンドの論文生産をサポートする。
• フレームワークは複数のMLサブ分野（拡散モデリング、トランスフォーマー言語モデリング、学習ダイナミクス）で機能する。
• システムは自らのレビュアーによって会議風の受理閾値を満たす論文を生産できる。