[논문 리뷰] The First Proven Performance Guarantees for the Non-Dominated Sorting Genetic Algorithm II (NSGA-II) on a Combinatorial Optimization Problem

Sacha Cerf, Benjamin Doerr외 3명|arXiv (Cornell University)|2023. 05. 22.

Advanced Multi-Objective Optimization Algorithms참고 문헌 52인용 수 6

한 줄 요약

이 논문은 이산 최적화 문제인 이목적 최소 스패닝 트리(MST) 문제에 대해 NSGA-II 알고리즘의 첫 번째 수학적 성능 보장을 제시한다. 인구집단 크기 $N \geq 4((n-1)w_{\max}+1)$일 경우, NSGA-II는 기대값으로 $O(m^2 n w_{\max} \log(nw_{\max}))$ 반복 내에 모든 극단적 파레토 최적 해를 도출함을 보이며, 이는 경험적 효율성을 철저한 수학적 분석을 통해 확인한다.

ABSTRACT

The Non-dominated Sorting Genetic Algorithm-II (NSGA-II) is one of the most prominent algorithms to solve multi-objective optimization problems. Recently, the first mathematical runtime guarantees have been obtained for this algorithm, however only for synthetic benchmark problems. In this work, we give the first proven performance guarantees for a classic optimization problem, the NP-complete bi-objective minimum spanning tree problem. More specifically, we show that the NSGA-II with population size $N \ge 4((n-1) w_{\max} + 1)$ computes all extremal points of the Pareto front in an expected number of $O(m^2 n w_{\max} \log(n w_{\max}))$ iterations, where $n$ is the number of vertices, $m$ the number of edges, and $w_{\max}$ is the maximum edge weight in the problem instance. This result confirms, via mathematical means, the good performance of the NSGA-II observed empirically. It also shows that mathematical analyses of this algorithm are not only possible for synthetic benchmark problems, but also for more complex combinatorial optimization problems. As a side result, we also obtain a new analysis of the performance of the global SEMO algorithm on the bi-objective minimum spanning tree problem, which improves the previous best result by a factor of $|F|$, the number of extremal points of the Pareto front, a set that can be as large as $n w_{\max}$. The main reason for this improvement is our observation that both multi-objective evolutionary algorithms find the different extremal points in parallel rather than sequentially, as assumed in the previous proofs.

연구 동기 및 목표

• 실제 이산 최적화 문제에 대해 NSGA-II에 대한 첫 번째 수학적 런타임 보장을 확립하여, 인공 기준 테스트를 넘어서는 것.
• 이중 목표 MST 문제에서 파레토 최적 해의 극단적 점들을 모두 계산하는 데 소요되는 기대 시간을 분석하는 것.
• NSGA-II의 이론적 분석이 복잡한 이산 최적화 문제에 대해 가능하고 의미 있는 것임을 보여주는 것.
• 기존 글로벌 SEMO 알고리즘의 런타임 경계를 개선하여, 극단적 점들로의 수렴이 순차적 방식이 아니라 병렬적임을 보여주는 것.
• 이 설정에서 변이 연산자와 교차 연산자의 NSGA-II 성능에 미치는 영향을 탐색하는 것.

제안 방법

• NSGA-II의 진행 상황을 극단적 파레토 최적 해를 포함하는 인구집단을 구성하는 데 추적하기 위해 마르코프 체인 모델을 사용한다.
• 파레토 최적 해의 극단적 점들에 가까운 개체를 선택하고 개선할 확률에 하한을 설정한다.
• ‘공정한 선택’ 개념을 활용하고, 비극단적 점에서 새로운 극단적 점을 생성할 확률 $\mathbf{p}_2$를 분석한다.
• 인구집단 크기 $N \geq 4((n-1)w_{\max}+1)$일 경우, 알고리즘이 모든 극단적 해를 커버할 수 있도록 충분한 다양성을 유지함을 증명한다.
• 비트 단위 및 균형 잡힌 변이 연산자를 모두 고려하여, 균형 잡힌 변이가 더 빠른 수렴을 이끌어내는 것을 보여준다.
• 교차 연산을 포함하기 위해 분석을 확장하여, 일정 확률로 교차를 추가해도 渐近적 런타임 복잡도가 악화되지 않음을 보였다.

실험 결과

연구 질문

• RQ1 이중 목표 MST 문제와 같은 고전적인 이산 최적화 문제에 대해 NSGA-II에 대한 수학적 런타임 보장을 설정할 수 있는가?
• RQ2 이중 목표 MST 문제에서 모든 극단적 파레토 최적 해를 계산하기 위해 NSGA-II에 필요한 인구집단 크기는 얼마인가?
• RQ3 이 문제에서 NSGA-II의 성능은 글로벌 SEMO와 같은 단순한 MOEA와 비교해 어떻게 되며, 분석을 통해 극단적 점들로의 병렬 수렴 현상을 설명할 수 있는가?
• RQ4 균형 잡힌 변이 또는 교차 연산의 사용이 이 문제에서 NSGA-II의 渐近적 런타임 복잡도에 영향을 미치는가?
• RQ5 NSGA-II의 이론적 분석을 인공 기준 테스트를 넘어서 실제 세계의 이산 최적화 문제로 확장할 수 있는가?

주요 결과

• 인구집단 크기 $N \geq 4((n-1)w_{\max}+1)$일 경우, NSGA-II는 기대값으로 $O(m^2 n w_{\max} \log(nw_{\max}))$ 반복 내에 파레토 최적 해의 모든 극단적 점을 도출한다.
• 기존 글로벌 SEMO 알고리즘의 런타임 경계를, 극단적 점들로의 병렬 수렴을 고려함으로써 $|F|$ 배(극단적 점의 수) 향상시켰다.
• 균형 잡힌 변이를 사용할 경우 극단적 점을 생성할 확률이 증가하여 기대 런타임이 $O((m-n)n\log(nw_{\max}) + m\log n)$ 세대로 감소한다.
• 일정 확률로 교차를 추가해도 渐近적 기대 런타임이 악화되지 않으며, 이는 비교적 교차가 없는 경우로 환원 가능함을 보였다.
• 엄밀한 수학적 분석이 인공 기준 테스트를 넘어서 실제 이산 최적화 문제에 대해 NSGA-II에 대해 가능하고 의미 있는 결과를 도출할 수 있음을 확인하였다.
• 이 연구는 향후 NSGA-II가 다른 이산 다목적 최적화 문제에 대해 이론적 분석을 수행하는 데 기초가 되는 프레임워크를 수립하였다.