[논문 리뷰] Runtime Analysis for the NSGA-II: Proving, Quantifying, and Explaining the Inefficiency For Many Objectives

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|2022. 11. 23.

Advanced Multi-Objective Optimization Algorithms인용 수 9

한 줄 요약

이 논문은 다목적 문제에 대한 NSGA-II의 첫 번째 수학적 런타임 분석을 제공하며, 모든 해가 파레토 최적인 간단한 m-목적 OneMinMax 벤치마크에서조차도 m ≥ 3인 경우, 알고리즘이 지수 시간 이내에 전체 파레토 프론트를 찾을 수 없다는 것을 증명한다. 이 비효율성의 원인은 순서가 독립적인 코어딩 거리가 목표를 별개로 다루기 때문에 다양성 유지가 떨어지고, 선택 과정에서 최적 해를 상실할 가능성이 높아지기 때문이다.

ABSTRACT

The NSGA-II is one of the most prominent algorithms to solve multi-objective optimization problems. Despite numerous successful applications, several studies have shown that the NSGA-II is less effective for larger numbers of objectives. In this work, we use mathematical runtime analyses to rigorously demonstrate and quantify this phenomenon. We show that even on the simple $m$-objective generalization of the discrete OneMinMax benchmark, where every solution is Pareto optimal, the NSGA-II also with large population sizes cannot compute the full Pareto front (objective vectors of all Pareto optima) in sub-exponential time when the number of objectives is at least three. The reason for this unexpected behavior lies in the fact that in the computation of the crowding distance, the different objectives are regarded independently. This is not a problem for two objectives, where any sorting of a pair-wise incomparable set of solutions according to one objective is also such a sorting according to the other objective (in the inverse order).

연구 동기 및 목표

• 다목적 최적화 문제에서 NSGA-II의 런타임 행동을 엄밀하게 분석하는 것.
• 목표 수가 두 개를 초과할 때 NSGA-II의 비효율성이 발생하는 근본 원인을 규명하고 설명하는 것.
• NSGA-II가 지수 시간 내에 전체 파레토 프론트에 수렴하지 못하는 정도를 정량화하는 것.
• NSGA-II가 목표 수가 증가함에 따라 성능이 떨어지는 것을 경험적으로 관찰한 데 대한 이론적 근거를 제공하는 것.

제안 방법

• 이중 目적 사례의 일반화인 m-목적 OneMinMax 벤치마크에서 수학적 런타임 분석을 수행하는 것.
• NSGA-II 선택에서 코어딩 거리의 역할을 정의하고 분석하며, 그 목표 간 독립성에 초점을 맞추는 것.
• 확률적 추론과 드리프트 분석을 사용하여, 인구 집단이 지수 시간 동안 일정 비율의 파레토 프론트를 커버하지 못함을 증명하는 것.
• n=40, m=4 OneMinMax에서 다양한 인구 크기(N = 4M에서 256M)를 사용해 이론적 결과를 검증하는 실험을 수행하는 것.
• 코어딩 거리 설계의 영향을 분리하기 위해 NSGA-II의 행동을 합성 GSEMO와 비교하는 것.
• 코어딩 거리의 분포와 선택에 미치는 영향을 분석하여, 많은 해가 0 또는 근처의 값 수신으로 인해 무작위 선택을 당하고 다양성이 손실된다는 것을 보여주는 것.

실험 결과

연구 질문

• RQ1 모든 해가 파레토 최적임에도 불구하고 m ≥ 3 목표에서 NSGA-II가 파레토 프론트를 효율적으로 탐색하지 못하는 이유는 무엇인가요?
• RQ2 NSGA-II가 다목적 문제에서 비효율적인 것은 수학적으로 증명하고 정량화할 수 있는가요?
• RQ3 m ≥ 3인 경우 코어딩 거리가 NSGA-II의 낮은 다양성과 선택 편향을 유발하는 데 어떤 역할을 하는가요?
• RQ4 인구 크기를 증가시키면 m-목적 OneMinMax에서 NSGA-II의 지수 시간 장벽을 완화할 수 있는가요?
• RQ5 코어딩 거리에서 목표가 독립적으로 다뤄지는 방식이 파레토 최적 해의 손실로 이어지는 이유는 무엇인가요?

주요 결과

• 모든 m ≥ 3에 대해, 인구 크기가 얼마나 커도 NSGA-II는 지수 시간 이내에 전체 파레토 프론트를 계산할 수 없다.
• 인구 크기에 관계없이, 알고리즘이 최소한 지수 시간 동안 일정 비율의 파레토 프론트를 커버하지 못한다.
• 실험 결과에 따르면, N = 256M일지라도 m=4, n=40인 경우 1,000번째 반복에서 평균 커버된 파레토 해 수는 441개 중 291개에 불과하다.
• 코어딩 거리 값이 극도로 비대칭이며, 많은 해가 0 또는 근처의 값을 받기 때문에 무작위 선택이 발생하고 다양성이 손실된다.
• 코어딩 거리 계산에서 목표가 독립적이기 때문에, 목적공간에서 멀리 떨어진 해들이 동일하게 가까운 것으로 간주되어 선택이 왜곡된다.
• 이론적 분석은 NSGA-II가 m=3부터 급격히 실패하는 이유를 설명하며, 이는 이중 목적 사례에서 목표가 암묵적으로 상관되어 있기 때문이다.