[论文解读] Mathematical Runtime Analysis for the Non-Dominated Sorting Genetic Algorithm II (NSGA-II)

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|Dec 16, 2021

Advanced Multi-Objective Optimization Algorithms被引用 5

一句话总结

本文首次对NSGA-II进行了数学化的运行时间分析，证明当种群规模为Pareto前沿大小的四倍时，NSGA-II在OneMinMax和LeadingOnesTrailingZeroes问题上可达到与SEMOP和GSEMO等简化MOEAs相同的渐近运行时间保证。然而，当种群规模等于Pareto前沿大小时，NSGA-II由于运行时间呈指数级增长，无法高效覆盖整个前沿，证实了其在小种群规模下的理论与实验局限性。

ABSTRACT

The non-dominated sorting genetic algorithm II (NSGA-II) is the most intensively used multi-objective evolutionary algorithm (MOEA) in real-world applications. However, in contrast to several simple MOEAs analyzed also via mathematical means, no such study exists for the NSGA-II so far. In this work, we show that mathematical runtime analyses are feasible also for the NSGA-II. As particular results, we prove that with a population size four times larger than the size of the Pareto front, the NSGA-II with two classic mutation operators and four different ways to select the parents satisfies the same asymptotic runtime guarantees as the SEMO and GSEMO algorithms on the basic OneMinMax and LeadingOnesTrailingZeros benchmarks. However, if the population size is only equal to the size of the Pareto front, then the NSGA-II cannot efficiently compute the full Pareto front: for an exponential number of iterations, the population will always miss a constant fraction of the Pareto front. Our experiments confirm the above findings.

研究动机与目标

• 建立NSGA-II的首个严格数学运行时间分析，NSGA-II是实践中使用最广泛的多目标进化算法。
• 研究种群规模如何影响NSGA-II在标准基准测试中覆盖完整Pareto前沿的效率。
• 分析不同父代选择机制（特别是基于非支配排序和拥挤度距离的二元锦标赛选择）对运行时间性能的影响。
• 提供理论保证，以解释NSGA-II的实证行为，特别是其在种群规模较小时的局限性。

提出的方法

• 采用概率论证和漂移分析等形式化数学运行时间分析方法，对OneMinMax和LeadingOnesTrailingZeroes问题的期望运行时间进行上界估计。
• 分析NSGA-II在两种突变算子（标准位翻转）和四种父代选择策略下的表现，包括基于两种排列的二元锦标赛选择（如Deb原始实现中所述）。
• 引入并证明了新的尾部概率界，以提升理论预测的鲁棒性。
• 采用种群规模 $ N = 4(n+1) $，使运行时间界与SEMOP和GSEMO保持一致，将先前要求的 $ N \geq 5(n+1) $ 降低。
• 提供了所有结果的完整证明，包括对早期界值的修订与改进版本，明确处理了拥挤度距离与非支配排序机制。
• 通过扩展实验验证理论发现，包括在多个运行和问题规模下对种群在Pareto前沿上分布的可视化。

实验结果

研究问题

• RQ1 当使用足够大的种群规模时，NSGA-II是否能获得与SEMOP和GSEMO等简化MOEAs相同的渐近运行时间保证？
• RQ2 当种群规模等于Pareto前沿大小时，NSGA-II的运行时间会发生什么变化？
• RQ3 尽管NSGA-II的选择机制涉及非支配排序和拥挤度距离，是否仍可成功应用数学运行时间分析？
• RQ4 父代选择策略的选择（特别是基于等级和拥挤度距离的二元锦标赛选择）如何影响NSGA-II的收敛速度？
• RQ5 NSGA-II在小种群规模下对Pareto前沿的近似程度如何？能否期望其高效覆盖整个前沿？

主要发现

• 当种群规模为 $ N = 4(n+1) $ 时，NSGA-II在OneMinMax和LeadingOnesTrailingZeroes问题上可达到与SEMOP和GSEMO相同的渐近运行时间保证，优于先前的 $ N \geq 5(n+1) $ 要求。
• 当种群规模恰好等于Pareto前沿大小（即 $ N = n+1 $）时，NSGA-II表现出指数级运行时间，无法高效计算完整的Pareto前沿。
• 即使在 $ N = n+1 $ 的情况下，NSGA-II也能迅速识别Pareto前沿的两个极端点，这是由于拥挤度距离为无穷大，使其免于被删除。
• 在 $ N = n+1 $ 时，种群在实践中对Pareto前沿的近似效果良好，OneMinMax问题中未覆盖区间的长度最多为6，LeadingOnesTrailingZeroes问题中最多为4，持续3000–5000代。
• 理论分析证实，NSGA-II可能因拥挤度距离与选择机制的相互作用，在种群规模较小时丢失Pareto前沿上的个体。
• 实验结果验证了理论发现，表明尽管小种群下无法实现完全覆盖，但Pareto前沿仍被良好近似，且种群在整个运行过程中始终位于Pareto前沿上。