[논문 리뷰] Mathematical Runtime Analysis for the Non-Dominated Sorting Genetic Algorithm II (NSGA-II)

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|2021. 12. 16.

Advanced Multi-Objective Optimization Algorithms인용 수 5

한 줄 요약

이 논문은 NSGA-II의 첫 번째 수학적 런타임 분석을 제시하며, 인구 수가 파레토 프론트 크기의 네 배일 경우, OneMinMax 및 LeadingOnesTrailingZeroes 문제에서 더 단순한 다목적 진화 알고리즘(MOEAs)인 SEMO와 GSEMO와 동일한 渐近적 런타임 보장을 달성함을 증명한다. 그러나 인구 수가 파레토 프론트 크기와 정확히 일치할 경우, NSGA-II는 지수적 런타임을 보이며 전체 프론트를 효율적으로 커버하지 못함을 확인하여, 작고 인구 수가 작은 경우의 이론적 및 실험적 한계를 입증한다.

ABSTRACT

The non-dominated sorting genetic algorithm II (NSGA-II) is the most intensively used multi-objective evolutionary algorithm (MOEA) in real-world applications. However, in contrast to several simple MOEAs analyzed also via mathematical means, no such study exists for the NSGA-II so far. In this work, we show that mathematical runtime analyses are feasible also for the NSGA-II. As particular results, we prove that with a population size four times larger than the size of the Pareto front, the NSGA-II with two classic mutation operators and four different ways to select the parents satisfies the same asymptotic runtime guarantees as the SEMO and GSEMO algorithms on the basic OneMinMax and LeadingOnesTrailingZeros benchmarks. However, if the population size is only equal to the size of the Pareto front, then the NSGA-II cannot efficiently compute the full Pareto front: for an exponential number of iterations, the population will always miss a constant fraction of the Pareto front. Our experiments confirm the above findings.

연구 동기 및 목표

• 실제로 가장 널리 사용되는 다목적 진화 알고리즘인 NSGA-II에 대한 첫 번째 엄밀한 수학적 런타임 분석을 수립하는 것.
• 기본 벤치마크에서 파레토 프론트를 전체적으로 커버하는 데 있어 인구 수가 NSGA-II의 효율성에 어떻게 영향을 미치는지 조사하는 것.
• 특히 비지배적 순서와 빈도 거리 기반 이진 토너먼트 선택과 같은 다양한 부모 선택 기법이 런타임 성능에 미치는 영향을 분석하는 것.
• 특히 인구 수가 작을 때의 실험적 행동을 설명하는 이론적 보장을 제공하는 것, 특히 NSGA-II의 한계를 설명하는 것.

제안 방법

• OneMinMax 및 LeadingOnesTrailingZeroes 문제에서 기대 런타임을 경계하기 위해 확률적 추론과 드리프트 분석을 사용한 공식적인 수학적 런타임 분석을 수행함.
• 표준 비트 플립 연산자를 사용한 두 가지 돌연변이 연산자와, Debo의 원래 구현 방식과 동일하게 두 개의 순열 기반 이진 토너먼트 선택 전략을 포함한 네 가지 부모 선택 전략을 분석함.
• 런타임 보장을 위한 새로운 尾確率 경계를 도입하고 증명하여 이론적 예측의 강건성을 향상시킴.
• SEM O와 GSEMO의 런타임 경계를 달성하기 위해 $ N = 4(n+1) $의 인구 수를 사용함으로써 이전에 요구된 $ N \geq 5(n+1) $의 조건을 감소시킴.
• 모든 결과에 대한 완전한 증명을 제공하며, 빈도 거리와 비지배적 순서를 명시적으로 다루며 이전 경계의 개선 및 재수정된 버전을 포함함.
• 이론적 결과를 검증하기 위해 확장된 실험을 수행하였으며, 여러 시행과 문제 크기에서 파레토 프론트 상의 인구 분포를 시각화함.

실험 결과

연구 질문

• RQ1 충분히 큰 인구 수를 사용할 경우, NSGA-II는 SEMO 및 GSEMO와 동일한 渐近적 런타임 보장을 달성하는가?
• RQ2 인구 수가 파레토 프론트 크기와 정확히 일치할 경우 NSGA-II의 런타임은 어떻게 되는가?
• RQ3 비지배적 순서와 빈도 거리 기반의 복잡한 선택 메커니즘을 고려할 때, NSGA-II에 수학적 런타임 분석을 성공적으로 적용할 수 있는가?
• RQ4 특히 순위와 빈도 거리 기반 이진 토너먼트 선택과 같은 부모 선택 전략의 선택이 NSGA-II의 수렴 속도에 어떻게 영향을 미치는가?
• RQ5 작은 인구 수에서 NSGA-II는 파레토 프론트를 어느 정도 근사하며, 전체 프론트를 효율적으로 커버할 수 있는가?

주요 결과

• 인구 수가 $ N = 4(n+1) $일 경우, NSGA-II는 OneMinMax 및 LeadingOnesTrailingZeroes 문제에서 SEMO와 GSEMO와 동일한 渐近적 런타임 보장을 달성하며, 이는 이전의 경계 $ N \geq 5(n+1) $를 향상시킨 결과이다.
• 인구 수가 정확히 파레토 프론트 크기와 일치할 경우($ N = n+1 $), NSGA-II는 지수적 런타임을 보이며 전체 파레토 프론트를 효율적으로 계산하지 못한다.
• 조금이라도 $ N = n+1 $일 경우, NSGA-II는 빈도 거리가 무한대이기 때문에 파레토 프론트의 두 극단점들을 신속하게 식별한다.
• $ N = n+1 $일 경우, 실질적으로 파레토 프론트를 잘 근사하며, OneMinMax에서는 최대 길이 6, LeadingOnesTrailingZeroes에서는 최대 길이 4의 커버되지 않은 간격이 3000~5000세대 동안 관찰된다.
• 이론적 분석은 NSGA-II가 빈도 거리와 선택 간의 상호작용으로 인해, 특히 인구 수가 작을 경우 파레토 프론트의 개체를 실수로 상실할 수 있음을 확인한다.
• 실험 결과는 이론적 발견을 검증하며, 작은 인구 수에서는 전체 커버리지가 달성되지 않지만 프론트는 잘 근사되며, 전체 런타임 동안 인구가 파레토 프론트에 머물러 있음을 보여준다.