[논문 리뷰] The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery

Chris Lu, Cong Lu외 4명|arXiv (Cornell University)|2024. 08. 12.

Scientific Computing and Data Management인용 수 93

한 줄 요약

AI Scientist는 연구 아이디어를 자율적으로 생성하고, 코드를 작성하며, 실험을 수행하고, 전체 논문을 작성하며 자동화된 리뷰를 수행하여 엔드-투-엔드 개방형 ML 발견을 가능하게 한다.

ABSTRACT

One of the grand challenges of artificial general intelligence is developing agents capable of conducting scientific research and discovering new knowledge. While frontier models have already been used as aides to human scientists, e.g. for brainstorming ideas, writing code, or prediction tasks, they still conduct only a small part of the scientific process. This paper presents the first comprehensive framework for fully automatic scientific discovery, enabling frontier large language models to perform research independently and communicate their findings. We introduce The AI Scientist, which generates novel research ideas, writes code, executes experiments, visualizes results, describes its findings by writing a full scientific paper, and then runs a simulated review process for evaluation. In principle, this process can be repeated to iteratively develop ideas in an open-ended fashion, acting like the human scientific community. We demonstrate its versatility by applying it to three distinct subfields of machine learning: diffusion modeling, transformer-based language modeling, and learning dynamics. Each idea is implemented and developed into a full paper at a cost of less than $15 per paper. To evaluate the generated papers, we design and validate an automated reviewer, which we show achieves near-human performance in evaluating paper scores. The AI Scientist can produce papers that exceed the acceptance threshold at a top machine learning conference as judged by our automated reviewer. This approach signifies the beginning of a new era in scientific discovery in machine learning: bringing the transformative benefits of AI agents to the entire research process of AI itself, and taking us closer to a world where endless affordable creativity and innovation can be unleashed on the world's most challenging problems. Our code is open-sourced at https://github.com/SakanaAI/AI-Scientist

연구 동기 및 목표

• 격리된 자동화 작업을 넘어선 완전 자동화된, 개방형 과학 발견을 동기부여하고 가능하게 한다.
• 프런티어 LLM이 아이디어를 내고, 계획하며, 실험을 실행하고, 원고를 작성하고, ML 하위 분야에서 리뷰를 시뮬레이션하는 엔드-투-엔드 파이프라인을 시연한다.
• 자동화된 리뷰가 거의 인간에 근접한 성능에 도달하고 지식의 반복적 축적을 안내할 수 있음을 보여준다.

제안 방법

• LLM 구동 에이전트( The AI Scientist )를 사용해 새로운 연구 아이디어를 생성하고 참신성과 실행 가능성을 평가한다.
• 계획 지향 코드 변경을 구현하고 실험을 실행하기 위해 LLM 기반 코딩 도우미인 Aider를 활용한다.
• 실험 메모 및 결과로부터 자동으로 그림과 LaTeX 원고 섹션을 생성한다.
• 학회 가이드라인에 맞춘 GPT-4o 기반 리뷰어를 사용하여 시뮬레이션 리뷰 과정을 수행한다.
• 발견된 아이디어와 산출물의 개방형 아카이브를 유지하여 반복적 성장을 촉진한다.

실험 결과

연구 질문

• RQ1 자율 시스템이 최소한의 인간 개입으로 새로운 ML 연구 아이디어를 생성하고 실행하며 보고할 수 있는가?
• RQ2 다양한 하위 분야에 걸친 완전 자동화된 ML 연구의 실행 가능성과 비용은 어느 정도인가?
• RQ3 자동화된 리뷰어가 자동 ML 논문을 인간의 리뷰와 비교해 얼마나 잘 판단할 수 있는가?
• RQ4 엔드-투-엔드 자동화 과학 발견의 강점, 한계 및 윤리적 고려사항은 무엇인가?

주요 결과

• AI Scientist는 비용이 낮은(논문당 $15 미만) 완성된 ML 논문을 생성하고 실행할 수 있다.
• An automated LLM reviewer achieves near-human performance in key evaluation metrics on ICLR/NeurIPS-style benchmarks.
• The pipeline supports end-to-end paper production, including ideation, experimentation, manuscript drafting, and automated review.
• The framework works across multiple ML subfields (diffusion modeling, transformer language modeling, learning dynamics).
• The system can produce papers that meet conference-like acceptance thresholds as judged by its own reviewer.