[论文解读] Large Language Model for Multi-objective Evolutionary Optimization

Fei Liu, Xi Lin+5 more|arXiv (Cornell University)|Oct 19, 2023

Advanced Multi-Objective Optimization Algorithms被引用 21

一句话总结

本文提出 MOEA/D-LLM，基于分解的 MOEA，通过预训练的大型语言模型作为黑箱算子来生成后代，同时提供模仿 LLM 行为的白盒变体（MOEA/D-LO），采用随机线性算子。

ABSTRACT

Multiobjective evolutionary algorithms (MOEAs) are major methods for solving multiobjective optimization problems (MOPs). Many MOEAs have been proposed in the past decades, of which the search operators need a carefully handcrafted design with domain knowledge. Recently, some attempts have been made to replace the manually designed operators in MOEAs with learning-based operators (e.g., neural network models). However, much effort is still required for designing and training such models, and the learned operators might not generalize well on new problems. To tackle the above challenges, this work investigates a novel approach that leverages the powerful large language model (LLM) to design MOEA operators. With proper prompt engineering, we successfully let a general LLM serve as a black-box search operator for decomposition-based MOEA (MOEA/D) in a zero-shot manner. In addition, by learning from the LLM behavior, we further design an explicit white-box operator with randomness and propose a new version of decomposition-based MOEA, termed MOEA/D-LO. Experimental studies on different test benchmarks show that our proposed method can achieve competitive performance with widely used MOEAs. It is also promising to see the operator only learned from a few instances can have robust generalization performance on unseen problems with quite different patterns and settings. The results reveal the potential benefits of using pre-trained LLMs in the design of MOEAs.To foster reproducibility and accessibility, the source code is https://github.com/FeiLiu36/LLM4MOEA.

研究动机与目标

• 在尽量少的特定问题训练下，推动自动化 MOEA 算子设计。
• 利用提示工程化的 LLM 为 MOEA/D 的子问题生成后代。
• 开发一个可解释的白盒算子，近似 LLM 的行为。
• 展示在不同多目标优化问题（MOPs）上的竞争性能和鲁棒性。

提出的方法

• 在 Chebyshev 聚合的 MOEA/D 框架下将 MOP 分解为多个单目标子问题。
• 使用提示工程在零-shot 设置中引导 LLM 为每个子问题产生新后代。
• 实现一个 reproduction 机制来解析 LLM 的输出并把新个体重新插回 MOEA/D 框架。
• 训练一个带随机性的显式线性算子（W^LLM）以近似 LLM 行为并定义 MOEA/D-LO。
• 通过将 LLM 表述为带概率权重的加权线性算子来提供白盒解释。
• 在 ZDT 和 UF 基准测试上进行评估，并与 NSGA-II、MOEA/D、MOEA/D-DE 进行比较。

实验结果

研究问题

• RQ1 一个预训练的、零-shot 的 LLM 能否作为分解型 MOEA 中子问题的有效黑箱算子？
• RQ2 从 LLM 行为推导出的显式白盒算子（MOEA/D-LO）在无需在线 LLM 交互的情况下，是否能实现有竞争力的性能和鲁棒性？
• RQ3 在标准的二目标和三目标基准上，MOEA/D-LLM 与传统 MOEAs 的比较如何？
• RQ4 在计算成本与优化性能之间，使用基于 LLM 的算子有哪些权衡？

主要发现

问题	m	d	NSGA-II	MOEA/D	MOEA/D-DE	MOEA/D-LO
ZDT1	2	30	0.72228e-1	0.72244e-1	0.72213e-1	0.72228e-1
ZDT2	2	30	0.44664e-1	0.44704e-1	0.44678e-1	0.44772e-1
ZDT3	2	30	0.60036e0	0.59962e0	0.59962e0	0.59947e0
ZDT4	2	30	0.71915e0	0.71909e0	0.30118e0	0.72074e0
ZDT6	2	30	0.38988e0	0.39014e0	0.38989e0	0.39008e0
UF1	2	30	0.60865e0	0.55337e0	0.72008e0	0.65610e0
UF2	2	30	0.69163e0	0.68486e0	0.71355e0	0.70477e0
UF3	2	30	0.46110e0	0.37128e0	0.71112e0	0.49752e0
UF4	2	30	0.39117e0	0.36494e0	0.35691e0	0.40230e0
UF5	2	30	0.26451e0	0.47837e0	0.20729e0	0.26900e0
UF6	2	30	0.13390e0	0.43358e0	0.18326e0	0.30889e0
UF7	2	30	0.099248e0	0.38444e0	0.005358e0	0.29594e0
UF8	3	30	0.31429e0	0.38911e0	0.46184e0	0.42039e0
UF9	3	30	0.59876e0	0.59321e0	0.67511e0	0.67386e0

• MOEA/D-LLM 在五个 RE 实例上相对于 MOEA/D-GA 实现了有竞争力的 HV，并且在近似 PF 上有相当大的重叠。
• MOEA/D-LLM 取得了具有竞争力的 HV 值并具有与传统 MOEAs相似的 PF 覆盖。
• 在若干 ZDT 和 UF 实例中，MOEA/D-LO 在 HV 和 IGD 方面优于 NSGA-II 和 MOEA/D。
• MOEA/D-LO 在 ZDT 实例上收敛更快，在 UF 实例上表现鲁棒。