[论文解读] Large Language Models As Evolution Strategies

Robert Lange, Yingtao Tian+1 more|arXiv (Cornell University)|Feb 28, 2024

Language and cultural evolution被引用 4

一句话总结

该论文提出 EvoLLM，一种零样本黑箱优化框架，通过将大规模语言模型（LLMs）作为进化策略中的重组算子，利用离散化、按适应度排序的解候选进行提示。该方法在 BBOB 函数和神经进化任务上优于随机搜索和高斯爬山法，且通过在教师算法轨迹上进行指令微调，性能进一步提升。

ABSTRACT

Large Transformer models are capable of implementing a plethora of so-called in-context learning algorithms. These include gradient descent, classification, sequence completion, transformation, and improvement. In this work, we investigate whether large language models (LLMs), which never explicitly encountered the task of black-box optimization, are in principle capable of implementing evolutionary optimization algorithms. While previous works have solely focused on language-based task specification, we move forward and focus on the zero-shot application of LLMs to black-box optimization. We introduce a novel prompting strategy, consisting of least-to-most sorting of discretized population members and querying the LLM to propose an improvement to the mean statistic, i.e. perform a type of black-box recombination operation. Empirically, we find that our setup allows the user to obtain an LLM-based evolution strategy, which we call `EvoLLM', that robustly outperforms baseline algorithms such as random search and Gaussian Hill Climbing on synthetic BBOB functions as well as small neuroevolution tasks. Hence, LLMs can act as `plug-in' in-context recombination operators. We provide several comparative studies of the LLM's model size, prompt strategy, and context construction. Finally, we show that one can flexibly improve EvoLLM's performance by providing teacher algorithm information via instruction fine-tuning on previously collected teacher optimization trajectories.

研究动机与目标

• 探究 LLM 是否能在未针对优化任务进行显式训练的情况下执行零样本黑箱优化。
• 设计一种提示策略，使 LLM 仅通过基于文本的上下文即可作为进化策略中的重组算子。
• 评估基于 LLM 的优化在多样化合成任务和神经进化任务中的鲁棒性与性能。
• 探究在教师算法轨迹上进行指令微调是否能提升基于 LLM 的优化性能。
• 识别影响优化成功的关键设计选择，如解的表示方式、离散化方法以及上下文构建策略。

提出的方法

• 该方法将离散化后的解候选序列及其适应度值按升序排列，作为输入上下文输入 LLM。
• 向 LLM 提出适应度提升查询，要求其为下一轮进化策略采样分布提出新的均值统计量。
• 通过将连续搜索空间离散化，将解表示为整数，且针对不同问题调整分辨率。
• 该方法支持分块处理，以管理高维问题中上下文长度的增长。
• 在 BBOB 函数和小型神经进化控制任务上，使用多种 LLM 和消融研究评估性能。
• 通过教师算法轨迹（如高斯爬山法）进行指令微调，以提升 LLM 性能。

Figure 1 . Left. Overview of EvoLLM procedure. An LLM proposes an ES search distribution update using a discretized search space & solutions sorted by their performance (least-to-most). To combat the context length growth in the number of dimensions, we can split the search dimensions into blocks an

实验结果

研究问题

• RQ1 LLM 是否能在未针对优化任务进行显式训练的情况下执行零样本黑箱优化？
• RQ2 基于离散化、排序和查询的提示策略是否能使 LLM 有效充当进化策略中的重组算子？
• RQ3 模型规模、解的表示方式以及上下文构建方式如何影响基于 LLM 的进化策略的优化性能？
• RQ4 在教师算法轨迹上进行指令微调是否能提升基于 LLM 的优化器性能？
• RQ5 是否存在最优的离散化分辨率？该分辨率是否因问题类型而异？

主要发现

• EvoLLM 在全部 8 个 BBOB 测试函数和 3 个神经进化控制任务上均优于随机搜索和高斯爬山法，且在多次运行中表现一致提升。
• 在大多数情况下，较小的 LLM（如 PaLM-XS）表现优于更大的模型，表明模型规模并非性能的决定性因素。
• 解的离散整数表示显著优于基于自然语言的指令，凸显了解表示方式的重要性。
• 最优离散化分辨率具有问题特异性：某些函数（如 Sphere）在 1000 个分箱时性能达到峰值，但在 10,000 个分箱时因上下文过载而下降。
• 在高斯爬山法教师算法轨迹上进行指令微调，可在未见过的 BBOB 和神经进化任务上带来微小但稳定的性能提升。
• 即使上下文有限（仅包含少数成员或代际），LLM 仍能推断并提出有益的均值更新，表明其能从排序序列中强大地泛化出模式。

Figure 2 . EvoLLM prompt design space & API. We track all solution evaluations and their performance in a context buffer. The buffer is used to construct query prompts for the LLM. After parsing the LLM output and sampling, we evaluate the resulting population and add the new information to the buff