[논문 리뷰] A Mathematical Runtime Analysis of the Non-dominated Sorting Genetic Algorithm III (NSGA-III)

Simon Wietheger, Benjamin Doerr|arXiv (Cornell University)|2022. 11. 15.

Advanced Multi-Objective Optimization Algorithms참고 문헌 31인용 수 6

한 줄 요약

이 논문은 NSGA-III에 대한 수학적 런타임 분석을 처음으로 제시하며, 모집단 크기가 파레토 최적 해집합 크기와 같거나 그 이상이고, 작은 상수 배수의 더 많은 기준점이 사용될 경우, 3목적 OneMinMax(3-OMM) 문제의 완전한 파레토 최적 해집합을 기대값 O(n log n) 반복 안에 계산할 수 있음을 증명한다. NSGA-II와 달리, NSGA-III는 기준점 기반 선택을 통해 모든 해집합 솔루션을 유지함으로써, 군집 거리로 인한 최적 해 손실 문제를 해결한다. 이로 인해 효율적인 수렴이 가능해진다.

ABSTRACT

The Non-dominated Sorting Genetic Algorithm II (NSGA-II) is the most prominent multi-objective evolutionary algorithm for real-world applications. While it performs evidently well on bi-objective optimization problems, empirical studies suggest that it is less effective when applied to problems with more than two objectives. A recent mathematical runtime analysis confirmed this observation by proving the NGSA-II for an exponential number of iterations misses a constant factor of the Pareto front of the simple 3-objective OneMinMax problem. In this work, we provide the first mathematical runtime analysis of the NSGA-III, a refinement of the NSGA-II aimed at better handling more than two objectives. We prove that the NSGA-III with sufficiently many reference points -- a small constant factor more than the size of the Pareto front, as suggested for this algorithm -- computes the complete Pareto front of the 3-objective OneMinMax benchmark in an expected number of O(n log n) iterations. This result holds for all population sizes (that are at least the size of the Pareto front). It shows a drastic advantage of the NSGA-III over the NSGA-II on this benchmark. The mathematical arguments used here and in previous work on the NSGA-II suggest that similar findings are likely for other benchmarks with three or more objectives.

연구 동기 및 목표

• 다양한 목표 최적화를 위한 다목적 진화 알고리즘인 NSGA-III에 대한 첫 번째 엄밀한 수학적 런타임 분석을 제공하는 것.
• 두 개 이상의 목표를 가진 문제에서 NSGA-II의 한계를 극복하는지, 특히 파레토 최적 해 손실 문제를 해결하는지 조사하는 것.
• 3-OMM 기준 문제에 대해 NSGA-III가 완전한 파레토 최적 해집합에 수렴하는 데 걸리는 시간에 대한 이론적 보장을 수립하는 것.
• NSGA-III의 기준점 기반 선택 메커니즘이 파레토 최적 해집합의 다양성과 커버리지 유지에 얼마나 효과적인지 검증하는 것.

제안 방법

• 분석은 3-OMM 문제의 완전한 파레토 최적 해집합을 커버할 때까지의 기대 반복 횟수를 평가하기 위해 수학적 런타임 프레임워크를 사용한다.
• 선택 과정은 목적 공간 내의 기준점으로 모델링되며, 각 파레토 최적 해는 적어도 하나의 고유한 기준점과 연결된다.
• 증명는 기준점 할당 메커니즘 덕분에, 한 번 샘플링된 파레토 최적 해 포인트에 대한 해가 인구집단에서 영구히 손실되지 않는다는 것을 보여주는 데 기반한다.
• 분석은 표준 비트 변이(각 비트당 1/n 확률)를 가정하며, 모집단 크기가 파레토 최적 해집합 크기와 같거나 그 이상이 되도록 한다.
• 충분히 많은 기준점(파레토 최적 해집합 크기의 작은 상수 배수)을 사용할 경우, 알고리즘이 해집합의 완전한 커버리지를 유지한다는 것을 보여준다.
• 이론적 결과는 다양한 모집단 크기와 교차율을 가진 3-OMM 문제에서 NSGA-III와 NSGA-II를 비교한 실험적 결과로 뒷받침된다.

실험 결과

연구 질문

• RQ1 NSGA-II와 달리, NSGA-III는 탐색 과정에서 파레토 최적 해를 손실하지 않는가?
• RQ2 3-OMM 문제에서 NSGA-III가 파레토 최적 해집합을 완전히 커버하기까지의 기대 런타임은 얼마인가?
• RQ3 기준점의 수가 NSGA-III의 인구집단이 파레토 최적 해집합 커버리지를 유지하는 데 영향을 주는 수렴성과 안정성에 어떻게 작용하는가?
• RQ4 NSGA-III의 이론적 보장은 3-OMM를 초월한 다른 다목적 문제로도 확장 가능한가?
• RQ5 변이와 교차 연산자가 실질적으로 NSGA-III의 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 모집단 크기가 파레토 최적 해집합 크기와 같거나 그 이상이고, 기준점 수가 해집합 크기보다 작은 상수 배수 더 많을 경우, NSGA-III는 파레토 최적 해가 발견된 이후로는 절대 손실되지 않는다.
• 이 알고리즘은 3-OMM 문제의 완전한 파레토 최적 해집합을 기대값 O(n log n) 반복 안에 계산한다.
• 이 런타임은 NSGA-II보다 뚜렷이 우수하며, NSGA-II는 해 손실로 인해 지수 시간 이하로 완전한 파레토 최적 해집합을 찾을 수 없음을 증명할 수 있다.
• 실험 결과는 NSGA-III가 300회 이내에 완전한 파레토 최적 해집합 커버리지를 달성하는 반면, NSGA-II는 모집단 크기에 관계없이 부분적 커버리지에 정체됨을 확인한다.
• 균일 교차를 사용할 경우 런타임이 증가하므로, 변이가 주로 진전을 이끄는 것으로 나타나 이론적 분석에서 변이에 집중하는 것이 타당하다.
• NSGA-III의 핵심 이론적 이점은 기준점 간 기하학적 분리 덕분에 여러 해가 동일한 기준점에 할당되는 것을 방지함으로써 모든 파레토 최적 해를 유지할 수 있다는 데 있다.