[论文解读] AdaEvolve: Adaptive LLM Driven Zeroth-Order Optimization

Mert Cemri, Shubham Agrawal+10 more|arXiv (Cornell University)|Feb 23, 2026

Natural Language Processing Techniques被引用 0

一句话总结

AdaEvolve 将 LLM 指导的进化重新表述为一个分层自适应优化器，利用累积改进信号来调整探索、岛屿间资源分配和元指导策略，在185个开放式问题上超越开源基线。

ABSTRACT

The paradigm of automated program generation is shifting from one-shot generation to inference-time search, where Large Language Models (LLMs) function as semantic mutation operators within evolutionary loops. While effective, these systems are currently governed by static schedules that fail to account for the non-stationary dynamics of the search process. This rigidity results in substantial computational waste, as resources are indiscriminately allocated to stagnating populations while promising frontiers remain under-exploited. We introduce AdaEvolve, a framework that reformulates LLM-driven evolution as a hierarchical adaptive optimization problem. AdaEvolve uses an "accumulated improvement signal" to unify decisions across three levels: Local Adaptation, which dynamically modulates the exploration intensity within a population of solution candidates; Global Adaptation, which routes the global resource budget via bandit-based scheduling across different solution candidate populations; and Meta-Guidance which generates novel solution tactics based on the previously generated solutions and their corresponding improvements when the progress stalls. We demonstrate that AdaEvolve consistently outperforms the open-sourced baselines across 185 different open-ended optimization problems including combinatorial, systems optimization and algorithm design problems.

研究动机与目标

• 推动从静态的一次性 LLM 指导生成转向进化框架中的推理时自适应搜索。
• 开发一个自适应的多层控制框架，利用统一的改进信号来调节探索、资源预算和元策略生成。
• 在多样化的优化与算法设计基准上展示 AdaEvolve 的鲁棒性与泛化能力。
• 展示累积改进信号如何引导岛内探索、跨岛资源分配以及元指导以摆脱停滞。

提出的方法

• 将 AdaEvolve 定义为对可执行程序的岛屿群体（并行子群体）进行分层动态优化的框架，这些程序由 LLM 进行突变。
• 使用每个岛屿的累积改进信号 G_t^(k) 来导出局部探索强度 I_t^(k)，以在探索与开发之间取得平衡。
• 将全局资源分配建模为衰减幅度的赌博式方法（UCB），基于全局归一化的改进来选择岛屿，避免局部最优偏差。
• 引入三级元指导，在全局停滞时调用单独的 LLM 生成高层次的解决策略并将其注入到变异提示中。
• 在所有岛屿都停滞时实现自适应的岛屿生成，创建带有种子程序的新岛以探索替代解。
• 给出一个算法摘要，其中一级在每次迭代中自适应强度，二级执行跨岛资源分配，三级触发元指导。

Figure 1 : AdaEvolve overview. Left: Standard LLM-guided search relies on fixed optimization policies, with static schedules, uniform resource allocation, and rigid prompts. Center: AdaEvolve introduces hierarchical adaptivity by dynamically modulating exploration intensity, reallocating compute acr

实验结果

研究问题

• RQ1 累积改进信号能否有效协调岛内探索、跨岛资源分配和 LLM 驱动程序优化中的元指导？
• RQ2 相较于 OpenEvolve、GEPA、ShinkaEvolve 等固定计划基线，分层自适应控制是否能提升性能并减少手动调参？
• RQ3 AdaEvolve 的自适应机制是否能在组合几何、系统优化、算法设计等不同问题族中泛化？
• RQ4 当数值自适应与基于赌博的分配均失效时，系统 2 级的元指导能否帮助摆脱停滞？

主要发现

• AdaEvolve 在 185 个优化/算法设计问题上持续超越开源基线。
• AdaEvolve 在圆填充与 Heilbronn 问题上取得最佳结果，有时达到或超过人类或 AlphaEvolve 的解。
• 该框架在 ADRS 基准上达到与人类竞争的性能，并显示出对不同骨干模型（如 GPT-5、Gemini-3-Pro）的强泛化能力。
• 消融研究显示三个自适应级别都在贡献，其中元指导在某些任务中带来最大的增益。
• 在 Frontier-CS（172 个问题）上，AdaEvolve 相较其他方法提升平均性能，展示了在开放式问题上的有效性。

Figure 2 : Comparison of the evolutionary algorithms on Circle Packing (Square $n=26$ ) and Heilbronn Triangles ( $n=11$ ) problems using GPT-5 backbone for all of them. $n$ is a parameter of the optimization problems we explain in Table 7 .