[论文解读] AlphaEvolve: A coding agent for scientific and algorithmic discovery

Alexander Novikov, Nhat Vu+16 more|ArXiv.org|Jun 16, 2025

Scientific Computing and Data Management被引用 5

一句话总结

AlphaEvolve 是一个演化编码代理，使用一条由多阶段大模型组成的管道来生成、批评和进化代码，并进行自动评估，以发现更快的算法和在科学以及谷歌基础设施中的新数学构造。

ABSTRACT

In this white paper, we present AlphaEvolve, an evolutionary coding agent that substantially enhances capabilities of state-of-the-art LLMs on highly challenging tasks such as tackling open scientific problems or optimizing critical pieces of computational infrastructure. AlphaEvolve orchestrates an autonomous pipeline of LLMs, whose task is to improve an algorithm by making direct changes to the code. Using an evolutionary approach, continuously receiving feedback from one or more evaluators, AlphaEvolve iteratively improves the algorithm, potentially leading to new scientific and practical discoveries. We demonstrate the broad applicability of this approach by applying it to a number of important computational problems. When applied to optimizing critical components of large-scale computational stacks at Google, AlphaEvolve developed a more efficient scheduling algorithm for data centers, found a functionally equivalent simplification in the circuit design of hardware accelerators, and accelerated the training of the LLM underpinning AlphaEvolve itself. Furthermore, AlphaEvolve discovered novel, provably correct algorithms that surpass state-of-the-art solutions on a spectrum of problems in mathematics and computer science, significantly expanding the scope of prior automated discovery methods (Romera-Paredes et al., 2023). Notably, AlphaEvolve developed a search algorithm that found a procedure to multiply two $4 imes 4$ complex-valued matrices using $48$ scalar multiplications; offering the first improvement, after 56 years, over Strassen's algorithm in this setting. We believe AlphaEvolve and coding agents like it can have a significant impact in improving solutions of problems across many areas of science and computation.

研究动机与目标

• 激发对自主、基于代码的发现的需求，以解决开放的科学和实际问题。
• 提出一种将进化搜索、由大语言模型驱动的代码修改和自动评估相结合的体系结构。
• 展示在矩阵乘法、数学构造和 Google 规模基础设施优化方面的能力。

提出的方法

• 一个自主的LLM管道生成、批评并变异代码，以改进目标算法。
• 评估通过用户提供的函数 h 自动完成，用以对候选解进行评分。
• 提示从程序数据库聚合过往解决方案，并指示LLMs以 diff 格式提出差异。
• 一个分布式、异步的管道以提高吞吐量为优先，并使用进化数据库在探索与开发之间取得平衡。
• 可以同时优化多项指标以引导进化。
• 系统支持可选的评估级联和LLM生成的反馈，以精炼选择。

实验结果

研究问题

• RQ1 AlphaEvolve 是否能够通过张量分解的进化发现更快的矩阵乘法算法？
• RQ2 在分析、组合、几何和数论等领域，AlphaEvolve 能否发现新的或改进的数学构造？
• RQ3 在大规模计算堆栈中的实际工程组件（如数据中心调度、硬件加速器、LLM 训练流水线）中，AlphaEvolve 能否产生有意义的改进？
• RQ4 在发现范围和解的质量方面，进化整个代码库与只进化单个函数相比有何差异？

主要发现

• AlphaEvolve 在许多矩阵乘法目标上达到或超越已知的张量分解界限，包括一个4x4复值情形，需48次乘法。
• AlphaEvolve 在超过50个数学问题中约75%重新发现了公认的最佳构造，在分析、几何、组合和数论等领域约20%超越了状态最优解。
• 在谷歌计算堆栈的工程应用中，AlphaEvolve 在调度启发式、矩阵乘法内核、算术电路和Transformer注意力运行时方面带来改进。
• 该方法实现了新的、可证明正确的算法的发现，超越了数学和计算机科学领域的最先进解决方案。
• 一个值得注意的结果是在该 setting 下首次报道的4x4复值矩阵乘法的秩为48的算法，优于 Strassen 在这一情形下的历史结果。