[논문 리뷰] Runtime Analysis of the SMS-EMOA for Many-Objective Optimization

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|2023. 12. 16.

Advanced Multi-Objective Optimization Algorithms참고 문헌 51인용 수 9

한 줄 요약

이 논문은 다목적 최적화를 위한 SMS-EMOA의 첫 번째 엄밀한 실행시간 분석을 제공하고, m-OJZJ 벤치마크에서의 효율성을 입증하며 NSGA-II, GSEMO 및 NSGA-II 변형과 비교한다.

ABSTRACT

This paper conducts the first rigorous runtime analysis of the SMS-EMOA for many-objective optimization. To this aim, we first propose a many-objective counterpart of the bi-objective OJZJ benchmark. We prove that SMS-EMOA computes the full Pareto front of this benchmark in an expected number of $O(μM n^k)$ iterations, where $n$ denotes the problem size (length of the bit-string representation), $k$ the gap size (a difficulty parameter of the problem), $M=(2n/m-2k+3)^{m/2}$ the size of the Pareto front, and $μ$ the population size (at least the same size as the largest incomparable set). This result together with the existing negative result for the original NSGA-II shows that, in principle, the general approach of the NSGA-II is suitable for many-objective optimization, but the crowding distance as tie-breaker has deficiencies. We obtain three additional insights on the SMS-EMOA. Different from a recent result for the bi-objective \ojzj benchmark, a recently proposed stochastic population update often does not help for its many-objective counterpart. It at most results in a speed-up by a factor of order $2^{k} / μ$, which is $Θ(1)$ for large $m$, such as $m>k$. On the positive side, we prove that heavy-tailed mutation irrespective of the number $m$ of objectives results in a speed-up of order $k^{0.5+k-β}/e^k$. Finally, we conduct the first runtime analyses of the SMS-EMOA on the classic OMM and LOTZ and show that the SMS-EMOA has a performance comparable to the GSEMO and the NSGA-II. Our main technical insight, a general condition ensuring that the SMS-EMOA does not lose Pareto-optimal objective values, promises to be useful also in other runtime analyses of this algorithm.

연구 동기 및 목표

• 다목적 설정에서의 NSGA-II의 어려움으로 인해 두 개 초과의 MOEA 연구를 동기화한다.
• 이론적 분석을 위한 OJZJ의 다목적 버전으로서 m-OJZJ 벤치마크를 정의한다.
• m-OJZJ 및 관련 벤치마크에서 SMS-EMOA에 대한 엄밀한 실행시간 상한을 확립한다.
• 다목적 설정에서 확률적 인구 업데이트와 무게가 큰 꼬리 mutation이 성능에 미치는 영향을 조사한다.
• wider 이해를 위한 bi-objective OneMinMax 및 LOTZ 벤치마크에 대한 SMS-EMOA의 보완적 실행시간 분석을 제공한다.

제안 방법

• Jump-like blocks으로 구성된 m-objective 다모드 변형인 m-OJZJ 벤치마크를 도입한다.
• M을 (2n/m-2k+3)^{m/2}로 정의할 때, SMS-EMOA가 기대 반복에서 전체 파레토 프런트를 커버한다는 상한 O(M^{2} n^{k})를 입증한다.
• 확률적 인구 업데이트의 효과를 분석하여 속도향상이 최대 O(2^{k/2}/(μ k^{1/2}))의 수준임을 보인다.
• 적절한 β>1에 대해 무거운 꼬리 mutation이 k^{0.5+k-β}의 수준의 속도향상을 제공함을 보인다.
• bi-objective OneMinMax 및 LOTZ 벤치마크에 대한 실행시간 분석을 제공하여 GSEMO 및 NSGA-II와 비교가능한 성능을 보인다.

실험 결과

연구 질문

• RQ1 SMS-EMOA가 다목적 문제를 효율적으로 최적화할 수 있는가, 그리고 그 성능은 m 개의 목표에 따라 어떻게 확장되는가?
• RQ2 m-OJZJ 벤치마크에서 SMS-EMOA에 대한 이론적 실행시간 상한은 무엇이며, NSGA-II와 어떻게 비교되는가?
• RQ3 다목적 설정에서 확률적 인구 업데이트가 SMS-EMOA 성능에 어떤 영향을 미치는가?
• RQ4 다목적 최적화에서 무거운 꼬리 mutation이 이론적으로 속도향상을 제공하는가?
• RQ5 정립된 bi-objective 벤치마크(OneMinMax, LOTZ)에서 SMS-EMOA의 성능은 GSEMO 및 NSGA-II와 비교하여 어떤가?

주요 결과

• SMS-EMOA는 기대 반복에서 O(M^{2} n^{k})의 실행시간으로 m-OJZJ를 최적화할 수 있으며, M은 (2n/m-2k+3)^{m/2}이다.
• 확률적 인구 업데이트는 최대 속도향상이 2^{k/2}/(μ k^{1/2})의 수준이며, 큰 m일 때(예: m>k)에는 무시가능해진다.
• 무거운 꼬리 mutation은 k^{0.5+k-β}의 수준의 속도향상을 제공하며 단일 및 이중 목표 Jump 문제에서 관찰된 이득과 일치한다.
• bi-objective Jump 변형에서 SMS-EMOA는 기존 NSGA-II 및 GSEMO 분석과 일치하는 실행시간을 달성한다.
• bi-objective OneMinMax 및 LOTZ에 대해 SMS-EMOA는 각각 2e(n+1)n(ln n+1) 및 2ene(n+1)의 실행시간 보장을 달성하며, GSEMO/NSGA-II 벤치마크와 일치한다.