[论文解读] Theoretical Analyses of Multiobjective Evolutionary Algorithms on Multimodal Objectives

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|Dec 14, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 62被引用 10

一句话总结

本文引入了 OneJumpZeroJump 问题，这是一个受单目标 Jump 函数启发的双目标多峰基准问题，用于研究多目标进化算法（MOEAs）在非单峰问题上的表现。研究证明，尽管 SEMO 无法找到完整的帕累托前沿，但 GSEMO 可在 Θ((n−2k)n^k) 次期望迭代内完成计算，且通过重尾突变或停滞检测可实现进一步加速——两者均使运行时间提升 k^{Ω(k)} 倍。

ABSTRACT

The theoretical understanding of MOEAs is lagging far behind their success in practice. In particular, previous theory work considers mostly easy problems that are composed of unimodal objectives. As a first step towards a deeper understanding of how evolutionary algorithms solve multimodal multiobjective problems, we propose the OJZJ problem, a bi-objective problem composed of two objectives isomorphic to the classic jump function benchmark. We prove that SEMO with probability one does not compute the full Pareto front, regardless of the runtime. In contrast, for all problem sizes $n$ and all jump sizes ${k \in [4..\frac n2 - 1]}$, the global SEMO (GSEMO) covers the Pareto front in an expected number of $Θ((n-2k)n^{k})$ iterations. For $k = o(n)$, we also show the tighter bound $\frac 32 e n^{k+1} \pm o(n^{k+1})$, which might be the first runtime bound for an MOEA that is tight apart from lower-order terms. We also combine the GSEMO with two approaches that showed advantages in single-objective multimodal problems. When using the GSEMO with a heavy-tailed mutation operator, the expected runtime improves by a factor of at least $k^{Ω(k)}$. When adapting the recent stagnation-detection strategy of Rajabi and Witt (2022) to the GSEMO, the expected runtime also improves by a factor of at least $k^{Ω(k)}$ and surpasses the heavy-tailed GSEMO by a small polynomial factor in $k$. Via an experimental analysis, we show that these asymptotic differences are visible already for small problem sizes: A factor-$5$ speed-up from heavy-tailed mutation and a factor-$10$ speed-up from stagnation detection can be observed already for jump size~$4$ and problem sizes between $10$ and $50$. Overall, our results show that the ideas recently developed to aid single-objective evolutionary algorithms to cope with local optima can be effectively employed also in multiobjective optimization.

研究动机与目标

• 为解决 MOEAs 在多峰多目标问题上理论理解不足的问题，这类问题在实际应用中十分常见。
• 开发一种新基准问题，以捕捉多目标优化中多峰性的挑战，类似于单目标 Jump 函数。
• 分析标准与增强型 MOEAs 在该基准上的表现，尤其关注其达到完整帕累托前沿的能力。
• 探究在单目标多峰优化中有效的技术——如重尾突变和停滞检测——是否也能提升 MOEA 的性能。

提出的方法

• 提出 OneJumpZeroJump 问题作为经典 Jump 函数的双目标对应版本，其目标函数分别基于 1 和 0 的数量。
• 使用数学运行时间分析评估 GSEMO 达到完整帕累托前沿的期望时间。
• 通过从幂律分布中采样突变率来应用重尾突变，以更高效地逃离局部最优。
• 将 Rajabi 和 Witt（2022）提出的停滞检测机制适配至 MOEAs，用于检测并响应搜索过程中的停滞状态。
• 采用严格的下界与上界分析，建立紧致的运行时间估计，包括 Ω((n−2k)n^k) 和 O((n−2k+3)n^k)。
• 通过小规模问题实例（n ∈ [10,50]，k=4）的实验分析验证理论结果，表明实际中可观察到显著加速。

实验结果

研究问题

• RQ1 标准 MOEAs（如 SEMO）能否计算双目标多峰问题的完整帕累托前沿？
• RQ2 GSEMO 在所提出的 OneJumpZeroJump 基准上的期望运行时间是多少，针对不同问题规模和跳跃大小？
• RQ3 重尾突变能否改善 GSEMO 在多峰多目标问题上的运行时间，改善幅度如何？
• RQ4 在单目标优化中有效的停滞检测机制，能否被适配至 MOEAs 并实现类似性能提升？
• RQ5 高级机制带来的渐近性能改进，是否在小规模问题实例中也能体现为可观测的加速？

主要发现

• 无论运行时间多长，SEMO 均无法以概率 1 计算出 OneJumpZeroJump 问题的完整帕累托前沿，原因在于帕累托前沿的结构不连通。
• 对于所有 n 和 k ∈ [4, n/2−1]，GSEMO 在 Θ((n−2k)n^k) 次期望迭代内计算出完整帕累托前沿，且当 k=o(n) 时，其紧致上界为 3/2 e n^{k+1} ± o(n^{k+1})。
• 与标准位翻转突变相比，重尾突变使 GSEMO 的期望运行时间至少提升 k^{Ω(k)} 倍。
• 停滞检测使 GSEMO 的期望运行时间至少提升 k^{Ω(k)} 倍，且在 k 的小多项式因子范围内略优于重尾 GSEMO。
• 实验结果证实了这些渐近性能优势：当 k=4 且 n∈[10,50] 时，重尾突变带来约 5 倍加速，停滞检测带来约 10 倍加速。
• 结果表明，为单目标多峰优化开发的技术可迁移并有效应用于多目标场景，即使在小规模问题实例中亦然。