[论文解读] A Mathematical Runtime Analysis of the Non-dominated Sorting Genetic Algorithm III (NSGA-III)

Simon Wietheger, Benjamin Doerr|arXiv (Cornell University)|Nov 15, 2022

Advanced Multi-Objective Optimization Algorithms参考文献 31被引用 6

一句话总结

本文首次对NSGA-III进行了数学化运行时间分析，证明当种群大小至少等于帕累托前沿大小且参考点数量比前沿大小多出一个较小常数因子时，NSGA-III可在期望O(n log n)代内计算出三目标OneMinMax（3-OMM）问题的完整帕累托前沿。与NSGA-II不同，后者可能因拥挤距离机制而丢失帕累托最优解，NSGA-III基于参考点的选择机制可保留所有前沿解，从而实现高效收敛。

ABSTRACT

The Non-dominated Sorting Genetic Algorithm II (NSGA-II) is the most prominent multi-objective evolutionary algorithm for real-world applications. While it performs evidently well on bi-objective optimization problems, empirical studies suggest that it is less effective when applied to problems with more than two objectives. A recent mathematical runtime analysis confirmed this observation by proving the NGSA-II for an exponential number of iterations misses a constant factor of the Pareto front of the simple 3-objective OneMinMax problem. In this work, we provide the first mathematical runtime analysis of the NSGA-III, a refinement of the NSGA-II aimed at better handling more than two objectives. We prove that the NSGA-III with sufficiently many reference points -- a small constant factor more than the size of the Pareto front, as suggested for this algorithm -- computes the complete Pareto front of the 3-objective OneMinMax benchmark in an expected number of O(n log n) iterations. This result holds for all population sizes (that are at least the size of the Pareto front). It shows a drastic advantage of the NSGA-III over the NSGA-II on this benchmark. The mathematical arguments used here and in previous work on the NSGA-II suggest that similar findings are likely for other benchmarks with three or more objectives.

研究动机与目标

• 提供NSGA-III的首次严格数学化运行时间分析，NSGA-III是一种专为多目标优化设计的多目标进化算法。
• 研究NSGA-III是否克服了NSGA-II在多于两个目标问题上的局限性，特别是帕累托最优解的丢失问题。
• 为NSGA-III在3-OMM基准问题上收敛至完整帕累托前沿的时间建立理论保证。
• 验证NSGA-III基于参考点的选择机制在保持帕累托前沿多样性与覆盖范围方面的有效性。

提出的方法

• 该分析采用数学化运行时间框架，评估NSGA-III在覆盖3-OMM问题完整帕累托前沿前的期望迭代次数。
• 通过在目标空间中使用参考点建模选择过程，确保每个帕累托最优解均与至少一个唯一的参考点相关联。
• 证明依赖于：一旦为某个帕累托前沿点采样到解，由于参考点分配机制，该解在种群中永远不会丢失。
• 分析假设使用标准位变异（每位变异概率为1/n），并考虑种群大小至少等于帕累托前沿大小的情况。
• 证明表明，当参考点数量足够多（比帕累托前沿大小多出一个较小常数因子）时，算法能保持对前沿的完整覆盖。
• 理论结果通过实证实验得到支持，实验比较了NSGA-III与NSGA-II在不同种群大小和交叉率下的3-OMM问题表现。

实验结果

研究问题

• RQ1 NSGA-III是否在搜索过程中避免了帕累托最优解的丢失，而NSGA-II则存在此类问题？
• RQ2 NSGA-III在3-OMM问题上实现帕累托前沿完整覆盖的期望运行时间是多少？
• RQ3 参考点数量如何影响NSGA-III种群在保持帕累托前沿覆盖方面的收敛性与稳定性？
• RQ4 NSGA-III的理论保证能否推广至3-OMM以外的其他多目标问题？
• RQ5 变异与交叉算子在实际中如何影响NSGA-III的收敛速度？

主要发现

• 当种群大小至少等于帕累托前沿大小，且参考点数量比前沿大小多出一个较小常数因子时，NSGA-III可确保一旦找到帕累托最优解，该解在种群中永远不会丢失。
• 该算法在期望O(n log n)代内计算出3-OMM问题的完整帕累托前沿。
• 该运行时间显著优于NSGA-II，后者因解的丢失问题，理论上无法在亚指数时间内找到完整帕累托前沿。
• 实证结果证实，NSGA-III在300代以内即可达到完整的帕累托前沿覆盖，而NSGA-II无论种群大小如何，均停滞在部分覆盖状态。
• 使用均匀交叉会增加运行时间，表明变异是推动主要进展的机制，这为理论分析中聚焦变异提供了合理依据。
• NSGA-III的关键理论优势在于其基于参考点几何分离的机制，可防止多个解被分配至同一参考点，从而确保所有帕累托最优解均被保留。