[论文解读] Large Language Models as Evolutionary Optimizers

Shengcai Liu, Caishun Chen+3 more|arXiv (Cornell University)|Oct 29, 2023

Metaheuristic Optimization Algorithms Research被引用 11

一句话总结

本论文介绍了 LLM 驱动的进化算法（LMEA），一个零样本进化优化框架，使用大语言模型执行选择、交叉和变异，具自适应温度以平衡探索与利用，在最多 20 节点的 TSP 实例上进行评估。

ABSTRACT

Evolutionary algorithms (EAs) have achieved remarkable success in tackling complex combinatorial optimization problems. However, EAs often demand carefully-designed operators with the aid of domain expertise to achieve satisfactory performance. In this work, we present the first study on large language models (LLMs) as evolutionary combinatorial optimizers. The main advantage is that it requires minimal domain knowledge and human efforts, as well as no additional training of the model. This approach is referred to as LLM-driven EA (LMEA). Specifically, in each generation of the evolutionary search, LMEA instructs the LLM to select parent solutions from current population, and perform crossover and mutation to generate offspring solutions. Then, LMEA evaluates these new solutions and include them into the population for the next generation. LMEA is equipped with a self-adaptation mechanism that controls the temperature of the LLM. This enables it to balance between exploration and exploitation and prevents the search from getting stuck in local optima. We investigate the power of LMEA on the classical traveling salesman problems (TSPs) widely used in combinatorial optimization research. Notably, the results show that LMEA performs competitively to traditional heuristics in finding high-quality solutions on TSP instances with up to 20 nodes. Additionally, we also study the effectiveness of LLM-driven crossover/mutation and the self-adaptation mechanism in evolutionary search. In summary, our results reveal the great potentials of LLMs as evolutionary optimizers for solving combinatorial problems. We hope our research shall inspire future explorations on LLM-driven EAs for complex optimization challenges.

研究动机与目标

• 激发并探索是否能够让大型语言模型在最小领域知识的条件下，作为进化算子来解决组合优化问题。
• 提出 LMEA，一种零-shot 框架，其中一个 LLM 在进化算法循环中执行父代选择、交叉和变异。
• 展示一种自适应机制，在搜索过程中调整 LLM 的温度以平衡探索与利用。

提出的方法

• 构建一个基于提示的框架，在每次 EA 代中由 LLM 选择父代，并执行交叉和变异以生成后代。
• 描述特定于问题的提示组件：带有解的性质的题描述、来自当前种群的上下文示例，以及明确的任务指令。
• 实现自适应规则：若连续 K 代未找到改进，则将 LLM 温度提高 alpha（alpha=0.1，K=20）。
• 在 EUC-2D TSP 实例上以 n ∈ {10,15,20,25} 进行评估，并与 NN、FI/NI/RI 插入启发式以及一个 OPRO 基线（LLM 驱动但不含遗传算子）进行比较。
• 使用固定种群大小 N=16 和代数 G=250；报告最优性差距和达到最优解所需的代数。

实验结果

研究问题

• RQ1 以零样本方式使用的 LLM 能否有效执行进化算子（选择、交叉、变异）来解决组合优化问题？
• RQ2 在 TSP 实例上，LMEA 的表现与传统启发式方法及使用不含 LLM 驱动遗传算子的基线相比如何？
• RQ3 自适应的 LLM 温度是否提升了 LMEA 的收敛性和解的质量？
• RQ4 随着问题规模增大，LMEA 的可扩展性极限是什么？

主要发现

测试集	最优性差距 (%)	# 代数（# 成功）	NN	FI	NI	RI	LMEA	OPRO
rue-10	11.22 ± 3.35	2.23 ± 1.26	0.58 ± 0.58	0.00 ± 0.00	0.00 ± 0.00	0.00 ± 0.00	35.80 ± 7.17 (5)	60.60 ± 13.68 (5)
rue-15	9.84 ± 3.34	1.08 ± 1.01	0.79 ± 0.79	2.45 ± 1.18	0.06 ± 0.06	5.23 ± 2.01	235.25 ± 6.12 (4)	189.00 ± 0.00 (1)
rue-20	21.47 ± 2.01	1.99 ± 0.86	2.65 ± 1.43	2.15 ± 1.26	3.94 ± 1.54	26.30 ± 3.58	197.00 ± 0.00 (1)	N/A (0)
rue-25	10.71 ± 3.36	2.33 ± 1.34	1.41 ± 0.72	2.41 ± 0.74	18.72 ± 3.31	53.59 ± 8.37	N/A (0)	N/A (0)
clu-10	16.48 ± 2.02	1.28 ± 0.79	0.99 ± 0.99	1.37 ± 0.84	0.00 ± 0.00	19.00 ± 3.30	0.00 ± 0.00	0.00 ± 0.00
clu-15	23.39 ± 4.39	0.00 ± 0.00	0.48 ± 0.48	0.08 ± 0.08	0.11 ± 0.11	8.13 ± 4.83	152.25 ± 18.80 (4)	153.00 ± 0.00 (1)
clu-20	21.29 ± 2.77	0.78 ± 0.48	3.81 ± 1.45	1.97 ± 0.87	4.05 ± 0.69	19.83 ± 4.76	N/A (0)	N/A (0)
clu-25	22.36 ± 1.29	2.10 ± 0.55	3.58 ± 0.68	1.83 ± 0.62	10.06 ± 1.69	48.25 ± 5.86	N/A (0)	N/A (0)

• LMEA 在小型 TSP（n=10、15）上实现具有竞争力的最优性差距，并且在许多情形下对 10 和 15 节点实例能够稳定找到最优解。
• 在 rue-10、rue-15 和 clu-10 测试集上，LMEA 在若干配置中优于传统启发式，并在大多数情况下找到最优解（例如在 19/20 的 rue/clu-10/15 实例上为最优）。
• 对于更大的 TSP（n=20,25），LMEA 的性能相对于手工设计的启发式算法下降，突显出可扩展性限制。
• 与 OPRO（LLM 无 LLM 驱动算子）相比，LMEA 通常在测试的实例中给出更好的解和更快的收敛。
• LLM 温度的自适应（LMEA）显著优于非自适应变体（LMEA*）的性能。
• LLMs 可以作为 EA 框架中的操作符与协调者，实现对组合优化的最小领域知识方法。