[論文レビュー] AdaEvolve: Adaptive LLM Driven Zeroth-Order Optimization

Mert Cemri, Shubham Agrawal+10 more|arXiv (Cornell University)|Feb 23, 2026

Natural Language Processing Techniques被引用数 0

ひとこと要約

AdaEvolveはLLM-guided evolutionを階層的適応オプティマイザとして再定義し、蓄積された改善信号を用いて探索、島間リソース配分、メタガイダンス戦術を適応させ、オープンソースのベースラインを185件のオープンエンド問題で上回る。

ABSTRACT

The paradigm of automated program generation is shifting from one-shot generation to inference-time search, where Large Language Models (LLMs) function as semantic mutation operators within evolutionary loops. While effective, these systems are currently governed by static schedules that fail to account for the non-stationary dynamics of the search process. This rigidity results in substantial computational waste, as resources are indiscriminately allocated to stagnating populations while promising frontiers remain under-exploited. We introduce AdaEvolve, a framework that reformulates LLM-driven evolution as a hierarchical adaptive optimization problem. AdaEvolve uses an "accumulated improvement signal" to unify decisions across three levels: Local Adaptation, which dynamically modulates the exploration intensity within a population of solution candidates; Global Adaptation, which routes the global resource budget via bandit-based scheduling across different solution candidate populations; and Meta-Guidance which generates novel solution tactics based on the previously generated solutions and their corresponding improvements when the progress stalls. We demonstrate that AdaEvolve consistently outperforms the open-sourced baselines across 185 different open-ended optimization problems including combinatorial, systems optimization and algorithm design problems.

研究の動機と目的

• 静的で一回限りのLLM-guided生成から推論時の適応探索への進化フレームワークへのシフトを動機づける。
• 統一された改善信号を用いて探索、リソース予算配分、メタ戦略生成を調整する適応的で多層的な制御フレームワークを開発する。
• AdaEvolveの堅牢性と一般化能力を多様な最適化・アルゴリズム設計ベンチマークで実証する。
• 蓄積された改善信号が島内探索、島間リソース配分、メタガイダンスを導く方法を示し、停滞を回避する。

提案手法

• AdaEvolveを、LLMによって突然変異させられた実行可能プログラムの島々（並列サブ集団）の集合に対する階層的動的最適化として定義する。
• 各島に対して蓄積改善信号G_t^(k)を用い、探索と収束のバランスを取る局所探索強度I_t^(k)を導出する。
• 全局リソース配分を減衰振幅のバンディット（UCB）としてモデル化し、全球的に正規化された改善度で島を選択して局所最適化のバイアスを回避する。
• Globalな停滞時にはLevel 3 Meta-Guidanceとして別のLLMを呼び出し、高レベルの解決戦術を生成して変異プロンプトに注入する。
• すべての島が停滞した場合に適応的な島の spawningを導入し、代替解探索のための種プログラムを持つ新しい島を作成する。
• Level 1が毎イテレーションで強度を適応、Level 2が島間リソース配分を実行、Level 3がメタガイダンスをトリガーするというアルゴリズム的概要を提供する。

Figure 1 : AdaEvolve overview. Left: Standard LLM-guided search relies on fixed optimization policies, with static schedules, uniform resource allocation, and rigid prompts. Center: AdaEvolve introduces hierarchical adaptivity by dynamically modulating exploration intensity, reallocating compute acr

実験結果

リサーチクエスチョン

• RQ1 蓄積改善信号は、LLM駆動のプログラム最適化において島内探索、島間リソース配分、メタガイダンスを効果的に協調させることができるか？
• RQ2 階層的適応制御はOpenEvolve、GEPA、ShinkaEvolveのような固定スケジュールのベースラインと比べて性能を向上させ、手動チューニングを削減できるか？
• RQ3 AdaEvolveの適応機構は組合せ幾何、システム最適化、アルゴリズム設計といった多様な問題ファミリに一般化できるか？
• RQ4 System 2レベルのメタガイダンスは、数値的適応とバンディットベースの配分が失敗したときに停滞を抜け出すのに役立つか？

主な発見

• AdaEvolveは185の最適化/アルゴリズム設計問題で一貫してオープンソースベースラインを上回る。
• Circle PackingおよびHeilbronn問題で最高結果を達成し、人間やAlphaEvolveの解法に匹敵またはそれを上回ることもある。
• この枠組みはADRSベンチマークで人間に近い性能を達成し、様々なバックボーン（GPT-5、Gemini-3-Pro）でも強い一般化を示す。
• アブレーション研究により三つの適応レベルすべてが寄与しており、Meta-Guidanceが一部タスクで最大の利得を提供することが示された。
• Frontier-CS（172問題）全体で、 AdaEvolveは他手法と比較して平均性能を顕著に向上させ、オープンエンド問題での有効性を示す。

Figure 2 : Comparison of the evolutionary algorithms on Circle Packing (Square $n=26$ ) and Heilbronn Triangles ( $n=11$ ) problems using GPT-5 backbone for all of them. $n$ is a parameter of the optimization problems we explain in Table 7 .