[論文レビュー] AlphaEvolve: A coding agent for scientific and algorithmic discovery

Alexander Novikov, Nhat Vu+16 more|ArXiv.org|Jun 16, 2025

Scientific Computing and Data Management被引用数 5

ひとこと要約

AlphaEvolve は、コードを生成・批評・進化させるパイプラインを用いて、自動評価を活用し、科学と Google のインフラストラクチャ全体におけるより速いアルゴリズムと新しい数学的構成を発見する進化的コーディングエージェントです。

ABSTRACT

In this white paper, we present AlphaEvolve, an evolutionary coding agent that substantially enhances capabilities of state-of-the-art LLMs on highly challenging tasks such as tackling open scientific problems or optimizing critical pieces of computational infrastructure. AlphaEvolve orchestrates an autonomous pipeline of LLMs, whose task is to improve an algorithm by making direct changes to the code. Using an evolutionary approach, continuously receiving feedback from one or more evaluators, AlphaEvolve iteratively improves the algorithm, potentially leading to new scientific and practical discoveries. We demonstrate the broad applicability of this approach by applying it to a number of important computational problems. When applied to optimizing critical components of large-scale computational stacks at Google, AlphaEvolve developed a more efficient scheduling algorithm for data centers, found a functionally equivalent simplification in the circuit design of hardware accelerators, and accelerated the training of the LLM underpinning AlphaEvolve itself. Furthermore, AlphaEvolve discovered novel, provably correct algorithms that surpass state-of-the-art solutions on a spectrum of problems in mathematics and computer science, significantly expanding the scope of prior automated discovery methods (Romera-Paredes et al., 2023). Notably, AlphaEvolve developed a search algorithm that found a procedure to multiply two $4 imes 4$ complex-valued matrices using $48$ scalar multiplications; offering the first improvement, after 56 years, over Strassen's algorithm in this setting. We believe AlphaEvolve and coding agents like it can have a significant impact in improving solutions of problems across many areas of science and computation.

研究の動機と目的

• 未解決の科学的・実践的課題に取り組むための自律的でコードベースの発見の必要性を動機づける。
• 進化的探索、LLM駆動のコード変更、および自動評価を組み合わせたアーキテクチャを提示する。
• 行列乗算、数学的構成、そして Google-scale インフラストラクチャ最適化における能力を示す。

提案手法

• ターゲットアルゴリズムを改善するために、 自律的な LLM パイプラインがコードを生成・批評・変異させる。
• 評価は、候補解を評価するユーザー提供の関数 h によって自動化される。
• プロンプトはプログラムデータベースから過去の解を集約し、LLMs に diff 形式の差分を提案させる。
• 分散型の非同期パイプラインはスループットを優先し、探索と活用のバランスをとる進化データベースを使用する。
• 複数の指標を同時に最適化して進化を導くことができる。
• 選択を洗練させるためのオプションの評価カスケードとLLM生成のフィードバックをサポートする。

実験結果

リサーチクエスチョン

• RQ1 AlphaEvolve はテンソル分解の進化を通じて、より速い行列乗算アルゴリズムを発見できるか。
• RQ2 AlphaEvolve は解析・組合せ論・幾何学・数論に渡る新規または改良された数学的構成をどの程度まで見つけられるか。
• RQ3 AlphaEvolve は大規模計算スタックにおける実世界のエンジニアリング要素（例：データセンターのスケジューリング、ハードウェアアクセラレータ、LLMトレーニングパイプライン）を意味のある改善に導けるか。
• RQ4 全体のコードベースを進化させることは、単一の関数を進化させることと比べて発見の幅と解決の質にどのような差をもたらすか。

主な発見

• AlphaEvolve は多くの行列乗算ターゲットについて、最良 Known tensor decomposition bounds に匹敵またはそれを上回り、48 の乗算を含む 4x4 複素値の場合も達成した。
• AlphaEvolve は 50 問以上の数学的問題の約 75% で最良既知の構成を再発見し、約 20% で SOTA を上回った（解析、幾何、組合せ論、数論）。
• Google の計算スタックにおけるエンジニアリング応用では、スケジューリングヒューリスティクス、行列乗算カーネル、算術回路、Transformer アテンションの実行時間などの改善を実現。
• このアプローチは、数学と計算機科学の分野で最先端解を上回る新規で証明可能な正確なアルゴリズムの発見を可能にした。
• 注目すべき成果として、4x4 複素値行列乗算の初のランク 48 アルゴリズムが知られ、同設定における Strassen の歴史的成果を改善。