[論文レビュー] Runtime Analysis of the SMS-EMOA for Many-Objective Optimization

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|Dec 16, 2023

Advanced Multi-Objective Optimization Algorithms参考文献 51被引用数 9

ひとこと要約

この論文は、多目的最適化のための SMS-EMOA の初の厳密な実行時間解析を提供し、m-OJZJ ベンチマークでの効率性を証明し、NSGA-II、GSEMO、および NSGA-II の派生と比較する。

ABSTRACT

This paper conducts the first rigorous runtime analysis of the SMS-EMOA for many-objective optimization. To this aim, we first propose a many-objective counterpart of the bi-objective OJZJ benchmark. We prove that SMS-EMOA computes the full Pareto front of this benchmark in an expected number of $O(μM n^k)$ iterations, where $n$ denotes the problem size (length of the bit-string representation), $k$ the gap size (a difficulty parameter of the problem), $M=(2n/m-2k+3)^{m/2}$ the size of the Pareto front, and $μ$ the population size (at least the same size as the largest incomparable set). This result together with the existing negative result for the original NSGA-II shows that, in principle, the general approach of the NSGA-II is suitable for many-objective optimization, but the crowding distance as tie-breaker has deficiencies. We obtain three additional insights on the SMS-EMOA. Different from a recent result for the bi-objective \ojzj benchmark, a recently proposed stochastic population update often does not help for its many-objective counterpart. It at most results in a speed-up by a factor of order $2^{k} / μ$, which is $Θ(1)$ for large $m$, such as $m>k$. On the positive side, we prove that heavy-tailed mutation irrespective of the number $m$ of objectives results in a speed-up of order $k^{0.5+k-β}/e^k$. Finally, we conduct the first runtime analyses of the SMS-EMOA on the classic OMM and LOTZ and show that the SMS-EMOA has a performance comparable to the GSEMO and the NSGA-II. Our main technical insight, a general condition ensuring that the SMS-EMOA does not lose Pareto-optimal objective values, promises to be useful also in other runtime analyses of this algorithm.

研究の動機と目的

• NSGA-II の多目的設定での困難さのため、2 目的を超える MOEAs の研究を動機づける。
• 理論解析のための m_OBJECTIVE の相当物として、OJZJ の m-目的版としての多目的ベンチマークを定義する。
• m-OJZJ および関連ベンチマークに対する SMS-EMOA の厳密な実行時間境界を確立する。
• 多目的設定における確率的集団更新と heavy-tailed mutation が性能に与える影響を調査する。
• より広い理解のために bi-objective OneMinMax および LOTZ ベンチマークに対する SMS-EMOA の補完的な実行時間解析を提供する。

提案手法

• m-objective のモルフォロジー変種である Jump-like blocks から構成された m-OJZJ ベンチマークを導入する。
• SMS-EMOA が期待値の反復で全 Pareto Front をカバーすることを upper bound により確立する：O(M^{2} n^{k}) で、M は (2n/m-2k+3)^{m/2} と定義される。
• 確率的な集団更新の影響を分析し、速度向上が最大で O(2^{k/2}/(μ k^{1/2})) のオーダーになることを示す。
• heavy-tailed mutation が適切な β>1 に対して k^{0.5+k-β} の速度向上をもたらすことを示す。
• bi-objective の OneMinMax および LOTZ ベンチマークに対する実行時間解析を提供し、GSEMO および NSGA-II と同等の性能を示す。

実験結果

リサーチクエスチョン

• RQ1 SMS-EMOA は多目的問題を効率的に最適化できるか、またその性能は m 個の目的とともにどのようにスケールするか。
• RQ2 m-OJZJ ベンチマークに対する SMS-EMOA の理論的実行時間境界はいくらで、NSGA-II とどう比較されるか。
• RQ3 確率的な集団更新は多目的設定における SMS-EMOA の性能にどう影響するか。
• RQ4 heavy-tailed mutation は多目的最適化の SMS-EMOA に理論的な速度向上を提供するか。
• RQ5 bi-objective のベンチマーク（OneMinMax、LOTZ）における SMS-EMOA の性能は、GSEMO および NSGA-II と比較してどうか。

主な発見

• SMS-EMOA は m-OJZJ を期待実行時間 O(M^{2} n^{k}) で最適化でき、M は (2n/m-2k+3)^{m/2}。
• 確率的な集団更新は最大で O(2^{k/2}/(μ k^{1/2})) の速度向上をもたらし、m が大きくなると無視できる（例: m>k）。
• heavy-tailed mutation は k^{0.5+k-β} のオーダーの速度向上をもたらし、単一目的および bi-objective Jump 問題で見られる利得に匹敵する。
• bi-objective の Jump 変種では、SMS-EMOA は既存の NSGA-II および GSEMO の解析と一致する実行時間を達成する。
• bi-objective の OneMinMax および LOTZ では、SMS-EMOA はそれぞれ 2e(n+1)n(ln n+1) および 2ene(n+1) の実行時間保証を達成し、GSEMO/NSGA-II のベンチマークと一致する。