[논문 리뷰] AlphaEvolve: A coding agent for scientific and algorithmic discovery

Alexander Novikov, Nhat Vu외 16명|ArXiv.org|2025. 06. 16.

Scientific Computing and Data Management인용 수 5

한 줄 요약

AlphaEvolve은 LLM 파이프라인을 활용하여 코드 생성, 비평, 진화를 수행하고 자동 평가를 통해 더 빠른 알고리즘과 과학 및 구글 인프라 전반의 새로운 수학적 구성들을 발견하는 진화적 코딩 에이전트이다.

ABSTRACT

In this white paper, we present AlphaEvolve, an evolutionary coding agent that substantially enhances capabilities of state-of-the-art LLMs on highly challenging tasks such as tackling open scientific problems or optimizing critical pieces of computational infrastructure. AlphaEvolve orchestrates an autonomous pipeline of LLMs, whose task is to improve an algorithm by making direct changes to the code. Using an evolutionary approach, continuously receiving feedback from one or more evaluators, AlphaEvolve iteratively improves the algorithm, potentially leading to new scientific and practical discoveries. We demonstrate the broad applicability of this approach by applying it to a number of important computational problems. When applied to optimizing critical components of large-scale computational stacks at Google, AlphaEvolve developed a more efficient scheduling algorithm for data centers, found a functionally equivalent simplification in the circuit design of hardware accelerators, and accelerated the training of the LLM underpinning AlphaEvolve itself. Furthermore, AlphaEvolve discovered novel, provably correct algorithms that surpass state-of-the-art solutions on a spectrum of problems in mathematics and computer science, significantly expanding the scope of prior automated discovery methods (Romera-Paredes et al., 2023). Notably, AlphaEvolve developed a search algorithm that found a procedure to multiply two $4 imes 4$ complex-valued matrices using $48$ scalar multiplications; offering the first improvement, after 56 years, over Strassen's algorithm in this setting. We believe AlphaEvolve and coding agents like it can have a significant impact in improving solutions of problems across many areas of science and computation.

연구 동기 및 목표

• 열린 과학적 및 실용적 문제를 해결하기 위한 자율적이고 코드 기반의 발견의 필요성을 제시한다.
• 진화적 탐색, LLM 주도 코드 수정, 자동 평가를 결합하는 아키텍처를 제시한다.
• 행렬 곱셈, 수학적 구성, 그리고 Google 규모의 인프라 최적화에 걸친 능력을 시연한다.

제안 방법

• 자율적인 LLM 파이프라인이 대상 알고리즘을 개선하기 위해 코드를 생성하고 비평하며 돌연변이시킨다.
• 평가는 후보 해를 점수화하는 사용자가 제공한 함수 h에 의해 자동화된다.
• 프롬프트는 프로그램 데이터베이스의 과거 솔루션을 집계하고 LLM에게 diff 형식의 차이 제안을 지시한다.
• 분산되고 비동기적인 파이프라인이 처리량을 우선시하며 탐색과 활용의 균형을 맞추기 위해 진화 데이터베이스를 사용한다.
• 여러 지표를 동시에 최적화하여 진화를 안내할 수 있다.
• 시스템은 선택을 다듬기 위한 옵션 평가 계층 및 LLM 생성 피드백을 지원한다.

실험 결과

연구 질문

• RQ1 AlphaEvolve가 텐서 분해의 진화를 통해 더 빠른 행렬 곱셈 알고리즘을 발견할 수 있는가?
• RQ2 분석, 조합, 기하학, 수 이론에 걸쳐 새로운 혹은 개선된 수학적 구성들을 AlphaEvolve가 어느 정도 발견할 수 있는가?
• RQ3 대규모 컴퓨팅 스택의 실제 엔지니어링 구성요소(예: 데이터센터 스케줄링, 하드웨어 가속기, LLM 학습 파이프라인)를 의미 있게 개선할 수 있는가?
• RQ4 전체 코드베이스를 진화시키는 것과 단일 함수를 진화시키는 것이 발견의 폭과 해의 품질 측면에서 어떻게 비교되는가?

주요 결과

• AlphaEvolve은 다수의 행렬 곱셈 대상에서 텐서 분해의 알려진 최고 경계에 부합하거나 이를 상회했으며, 48 곱셈을 가진 4x4 복소수 케이스를 포함한다.
• AlphaEvolve은 50개가 넘는 수학 문제 중 약 75%에서 기존으로 알려진 구성들을 재발견했고, 약 20%에서 SOTA를 초월했다. 영역은 분석, 기하학, 조합론, 수 이론에 걸친다.
• 구글의 컴퓨트 스택에서의 엔지니어링 응용에서 AlphaEvolve는 스케줄링 휴리스틱, 행렬 곱셈 커널, 산술 회로, 트랜스포머 어텐션 런타임에서 개선을 이끌어냈다.
• 이 접근법은 수학 및 컴퓨터 과학에서 최첨단 해법을 능가하는 새롭고 증명 가능한 정답 알고리즘의 발견을 가능하게 했다.
• 주목할 만한 결과는 이 설정에서 Strassen의 역사적 결과를 개선한 4x4 복소수 행렬 곱셈에 대한 최초로 알려진 rank-48 알고리즘이다.