[논문 리뷰] Theoretical Analyses of Multiobjective Evolutionary Algorithms on Multimodal Objectives

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|2020. 12. 14.

Advanced Multi-Objective Optimization Algorithms참고 문헌 62인용 수 10

한 줄 요약

이 논문은 다기능 다목적 최적화 알고리즘(MOEAs)의 이론적 이해 부족을 보완하고자, 단일 목적의 점프 함수에서 영감을 얻은 이중목적 다모달 기준문제인 OneJumpZeroJump 문제를 제안한다. 이 문제를 통해 다기능 다목적 최적화 알고리즘의 성능을 분석한다. SEMO는 전체 파레토 최적 해를 찾지 못하는 반면, GSEMO는 Θ((n−2k)n^k)의 기대 반복 횟수 내에 전체 파레토 최적 해를 도출한다. 또한, 첨도가 높은 변이 또는 정체성 탐지 기법을 통해 런타임을 k^{Ω(k)} 요소만큼 향상시킬 수 있다.

ABSTRACT

The theoretical understanding of MOEAs is lagging far behind their success in practice. In particular, previous theory work considers mostly easy problems that are composed of unimodal objectives. As a first step towards a deeper understanding of how evolutionary algorithms solve multimodal multiobjective problems, we propose the OJZJ problem, a bi-objective problem composed of two objectives isomorphic to the classic jump function benchmark. We prove that SEMO with probability one does not compute the full Pareto front, regardless of the runtime. In contrast, for all problem sizes $n$ and all jump sizes ${k \in [4..\frac n2 - 1]}$, the global SEMO (GSEMO) covers the Pareto front in an expected number of $Θ((n-2k)n^{k})$ iterations. For $k = o(n)$, we also show the tighter bound $\frac 32 e n^{k+1} \pm o(n^{k+1})$, which might be the first runtime bound for an MOEA that is tight apart from lower-order terms. We also combine the GSEMO with two approaches that showed advantages in single-objective multimodal problems. When using the GSEMO with a heavy-tailed mutation operator, the expected runtime improves by a factor of at least $k^{Ω(k)}$. When adapting the recent stagnation-detection strategy of Rajabi and Witt (2022) to the GSEMO, the expected runtime also improves by a factor of at least $k^{Ω(k)}$ and surpasses the heavy-tailed GSEMO by a small polynomial factor in $k$. Via an experimental analysis, we show that these asymptotic differences are visible already for small problem sizes: A factor-$5$ speed-up from heavy-tailed mutation and a factor-$10$ speed-up from stagnation detection can be observed already for jump size~$4$ and problem sizes between $10$ and $50$. Overall, our results show that the ideas recently developed to aid single-objective evolutionary algorithms to cope with local optima can be effectively employed also in multiobjective optimization.

연구 동기 및 목표

• 실제 응용에서 흔히 나타나는 다모달 다목적 문제에 대한 MOEAs의 이론적 이해 부족을 해결하기 위해.
• 단일 목적의 점프 함수에 유사한 방식으로 다모달성의 도전을 반영하는 새로운 기준문제를 개발하기 위해.
• 이 기준문제에서 표준 및 향상된 MOEAs의 성능을 분석하고, 특히 전체 파레토 최적 해에 도달하는 능력을 중심으로 연구하기 위해.
• 단일 목적의 다모달 최적화에서 효과적인 기법들—예를 들어 첨도가 높은 변이 및 정체성 탐지—이 다목적 최적화에서 MOEA 성능 향상에 기여할 수 있는지 탐구하기 위해.

제안 방법

• 클래식한 점프 함수의 이중목적 버전으로서 OneJumpZeroJump 문제를 제안하며, 각 목표는 각각 1과 0의 개수에 기반한다.
• 수학적 런타임 분석을 통해 GSEMO가 전체 파레토 최적 해에 도달하는 데 소요되는 기대 시간을 평가한다.
• 지수 분포를 따르는 첨도가 높은 확률 분포에서 변이 확률을 샘플링하여 局부 최적 해에서 빠져나오는 데 더 효율적으로 대응한다.
• Rajabi와 Witt(2022)의 정체성 탐지 기법을 다목적 최적화에 적응시켜 검색 과정에서의 정체성을 탐지하고 반응한다.
• 엄격한 하한 및 상한을 적용하여 런타임 추정치를 정밀하게 확보하며, Ω((n−2k)n^k) 및 O((n−2k+3)n^k)의 추정치를 포함한다.
• 작은 문제 크기(n ∈ [10,50], k=4)에서 이론적 결과를 실험적으로 검증하여 실질적인 런타임 향상이 관찰됨을 확인한다.

실험 결과

연구 질문

• RQ1 SEM과 같은 표준 MOEAs는 이중목적 다모달 문제의 전체 파레토 최적 해를 계산할 수 있는가?
• RQ2 다양한 문제 크기와 점프 크기에 대해 제안된 OneJumpZeroJump 기준문제에서 GSEMO의 기대 런타임은 얼마인가?
• RQ3 첨도가 높은 변이 기법은 다모달 다목적 최적화 문제에서 GSEMO의 런타임을 향상시킬 수 있으며, 그 정도는 어느 정도인가?
• RQ4 단일 목적 최적화에서 효과적인 정체성 탐지 기법은 다목적 최적화 알고리즘에 적응시켜 유사한 성능 향상을 이끌 수 있는가?
• RQ5 고도로 발전된 기법으로부터 유도된 渐近적 향상은 작은 문제 크기에서도 실제로 관찰 가능한 런타임 향상으로 이어지는가?

주요 결과

• SEMO는 파레토 최적 해 집합이 비연결 구조를 띠므로, 런타임이 얼마나 길어도 전체 파레토 최적 해를 확률 1로 도출할 수 없다.
• GSEMO는 모든 n과 k ∈ [4, n/2−1]에 대해 전체 파레토 최적 해에 도달하는 데 Θ((n−2k)n^k)의 기대 반복 횟수를 소요하며, k=o(n)일 경우 3/2 e n^{k+1} ± o(n^{k+1})의 더 정밀한 상한을 제공한다.
• 첨도가 높은 변이 기법은 표준 비트-플립 변이 대비 GSEMO의 기대 런타임을 최소 k^{Ω(k)} 요소만큼 향상시킨다.
• 정체성 탐지 기법은 GSEMO의 기대 런타임을 최소 k^{Ω(k)}만큼 향상시키며, 첨도가 높은 변이를 사용하는 GSEMO보다 k에 대한 다항식 정도의 작은 요소로 성능이 뛰어나다.
• 실험 결과는 이러한 渐近적 향상이 실제로 관찰됨을 확인한다: k=4 및 n∈[10,50]일 때 첨도가 높은 변이로 약 5배의 런타임 향상, 정체성 탐지 기법으로 약 10배의 런타임 향상이 관찰되었다.
• 결과는 단일 목적 다모달 최적화에서 개발된 기법들이 다목적 환경에서도 이식 가능하며, 작은 문제 크기에서도 효과적임을 시사한다.