[论文解读] A Survey on Learnable Evolutionary Algorithms for Scalable Multiobjective Optimization

Songbai Liu, Lin, Qiuzhen+2 more|arXiv (Cornell University)|Jun 23, 2022

Advanced Multi-Objective Optimization Algorithms被引用 6

一句话总结

本综述介绍了可学习进化算法（LEAs），该算法将机器学习整合到多目标进化算法（MOEAs）中，以应对复杂、大规模多目标优化问题（MOPs）中的可扩展性挑战。通过采用可学习组件——如用于环境选择的判别器、用于繁殖的生成器、用于函数评估的评估器，以及用于经验共享的迁移模块——LEAs 在多种 MOPs 中提升了适应性和性能，包括多目标、评估成本高昂或动态环境的问题。

ABSTRACT

Recent decades have witnessed great advancements in multiobjective evolutionary algorithms (MOEAs) for multiobjective optimization problems (MOPs). However, these progressively improved MOEAs have not necessarily been equipped with scalable and learnable problem-solving strategies for new and grand challenges brought by the scaling-up MOPs with continuously increasing complexity from diverse aspects, mainly including expensive cost of function evaluations, many objectives, large-scale search space, time-varying environments, and multi-task. Under different scenarios, divergent thinking is required in designing new powerful MOEAs for solving them effectively. In this context, research studies on learnable MOEAs with machine learning techniques have received extensive attention in the field of evolutionary computation. This paper begins with a general taxonomy of scaling-up MOPs and learnable MOEAs, followed by an analysis of the challenges that these MOPs pose to traditional MOEAs. Then, we synthetically overview recent advances of learnable MOEAs in solving various scaling-up MOPs, focusing primarily on four attractive directions (i.e., learnable evolutionary discriminators for environmental selection, learnable evolutionary generators for reproduction, learnable evolutionary evaluators for function evaluations, and learnable evolutionary transfer modules for sharing or reusing optimization experience). The insight of learnable MOEAs is offered to readers as a reference to the general track of the efforts in this field.

研究动机与目标

• 应对现代多目标优化问题（MOPs）日益增长的复杂性与可扩展性需求，包括多目标、评估成本高昂以及动态环境等问题。
• 识别传统 MOEAs 在处理大规模、复杂 MOPs 时的局限性，这些 MOPs 需要自适应、数据驱动的策略。
• 系统性地分类并分析利用机器学习提升优化性能与可扩展性的最新可学习 MOEAs 进展。
• 提供一个统一框架，理解如何将机器学习组件整合到多目标问题的进化计算中。
• 突出迁移学习与元学习在跨不同 MOPs 和场景重用优化经验方面的潜力。

提出的方法

• 基于关键挑战提出 MOPs 扩展的分类体系：函数评估成本高昂、多目标、大规模搜索空间、时变环境以及多任务优化。
• 提出四种核心可学习组件：用于环境选择的可学习进化判别器、用于繁殖的可学习生成器、用于代理建模适应度的可学习评估器，以及用于知识共享的可学习迁移模块。
• 将深度学习与强化学习技术整合到进化算子中，实现在选择、变异和评估过程中自适应决策。
• 利用元学习与少样本适应策略，实现在不同 MOP 实例间迁移优化经验，提升样本效率。
• 形式化将机器学习模型集成到 MOEA 流程中，其中模型基于历史优化数据进行训练，以指导新或复杂问题实例的搜索。
• 展示 LEAs 的模块化设计，允许根据问题特征灵活替换和组合可学习组件。

实验结果

研究问题

• RQ1 如何系统性地将机器学习技术整合到多目标进化算法中，以提升可扩展性与性能？
• RQ2 大规模、复杂 MOPs 所带来的关键挑战是什么，而传统 MOEAs 未能有效应对？
• RQ3 可学习组件（如判别器、生成器、评估器和迁移模块）如何提升 MOEAs 的适应性与效率？
• RQ4 如何利用可学习迁移模块在不同 MOPs 之间共享或重用优化经验？
• RQ5 在实际应用中，设计可扩展、可学习 MOEAs 的最有前景方向与架构是什么？

主要发现

• 可学习进化判别器通过学习帕累托最优前沿边界，显著提升了环境选择中的收敛性与多样性。
• 可学习生成器通过建模问题特定的搜索模式，在复杂、多峰搜索空间中导航方面优于传统变异算子。
• 可学习评估器通过使用在有限数据上训练的代理模型准确预测适应度，显著减少了昂贵函数评估的次数。
• 可学习迁移模块通过从先前解决的问题中转移知识，显著加快了在新 MOP 上的收敛速度，尤其在少样本场景中表现突出。
• 多种可学习组件的集成在多种 MOPs（包括多目标与动态问题）中均展现出优于基线 MOEAs 的性能。
• 综述识别出进化计算与深度学习、元学习融合的明确趋势，推动了自适应、可扩展且可泛化的优化框架的发展。