[논문 리뷰] Uncrowded Hypervolume Improvement: COMO-CMA-ES and the Sofomore framework

Cheikh Touré, Nikolaus Hansen외 2명|arXiv (Cornell University)|2019. 04. 18.

Advanced Multi-Objective Optimization Algorithms참고 문헌 25인용 수 9

한 줄 요약

이 논문은 다목적 최적화 알고리즘을 단일 목적 최적화 솔버에서 유도하기 위한 새로운 Sofomore 프레임워크를 소개한다. 이 프레임워크는 열등한 해들을 파레토 최적 해역의 미탐색 영역으로 이끌기 위해 비crowded 히퍼볼륨 개선(UHVI)을 사용한다. 단일 목적 최적화 솔버로 CMA-ES를 사용하여 구현한 COMO-CMA-ES는 이중 목적 볼록-이차 문제에서 선형 수렴을 보이며, MO-CMA-ES, NSGA-II 및 SMS-EMOA보다 수렴성과 아카이브 품질 면에서 뛰어난 성능을 발휘한다.

ABSTRACT

We present a framework to build a multiobjective algorithm from single-objective ones. This framework addresses the $p imes n$-dimensional problem of finding p solutions in an n-dimensional search space, maximizing an indicator by dynamic subspace optimization. Each single-objective algorithm optimizes the indicator function given $p - 1$ fixed solutions. Crucially, dominated solutions minimize their distance to the empirical Pareto front defined by these $p - 1$ solutions. We instantiate the framework with CMA-ES as single-objective optimizer. The new algorithm, COMO-CMA-ES, is empirically shown to converge linearly on bi-objective convex-quadratic problems and is compared to MO-CMA-ES, NSGA-II and SMS-EMOA.

연구 동기 및 목표

• NSGA-II와 같은 전통적인 다목적 진화 알고리즘은 방향성 편향 없이 군집 거리 최적화를 수행함으로써 악화 주기(deteriorative cycles)를 겪는 바, 이에 대한 수렴 보장의 부재를 해결하기 위해.
• 표준 히퍼볼륨 지표가 탐색 공간의 넓은 영역에서 평탄한 성질을 가지는 문제를 해결하기 위해, 군집도를 페널티 처리하고 탐색되지 않은 영역을 선호하는 동적 피트니스를 도입함으로써.
• 단일 목적 최적화 솔버로부터 다목적 알고리즘을 구성할 수 있는 일반적인 프레임워크를 설계함으로써, 동적 부분공간 최적화를 활용함.
• CMA-ES를 활용해 이 프레임워크를 구체화하여, UHVI 피트니스 함수를 최적화하는 비엘리트리즘, 콤마-선택 기반의 알고리즘인 COMO-CMA-ES를 제작함.
• COMO-CMA-ES가 최신 기술 대비 선형 수렴과 수렴 갭 및 아카이브 품질 면에서 뛰어난 성능을 보임을 경험적으로 검증함.

제안 방법

• Sofomore 프레임워크는 현재의 나머지 $ p-1 $ 개 해들의 상태에 따라 $ p $ 개 해들 각각에 대해 동적으로 피트니스를 할당함으로써, 단일 목적 최적화 알고리즘이 최적의 $ p $-분포로 공진화하도록 함.
• 핵심 혁신은 비crowded 히퍼볼륨 개선(UHVI) 피트니스: 열등한 해들에 대해서는 비례하여 비용이 낮아지며, 비율은 비열등한 해들이 비열등한 해들로 구성된 경험적 파레토 최적 해역으로부터의 거리의 역수이다.
• 이 UHVI 피트니스 함수는 파레토 최적 해역의 탐색되지 않은 영역으로의 탐색을 유도함으로써, 표준 히퍼볼륨 지표의 평탄함을 보완하고 열등한 해들에게 탐색 방향을 제공한다.
• COMO-CMA-ES는 $ p $ 개 해들 각각에 대해 CMA-ES 알고리즘을 동시에 적용하고, UHVI 피트니스 함수를 사용하며, 매 반복마다 가장 열악한 해들을 기각하는 콤마-선택 전략을 사용함.
• 알고리즘은 CMA-ES의 동적이고 적응적인 스텝 사이즈 및 공분산 행렬 업데이트 규칙을 사용하지만, 피트니스 함수는 열등한 해들이 비열등한 해들 사이의 희소 영역으로 유도되도록 보장한다.
• 프레임워크는 다양한 회전을 가진 이중 목적 볼록-이차 문제에서 평가되었으며, 수렴 갭과 아카이브 갭을 성능 지표로 사용함.

실험 결과

연구 질문

• RQ1 현재 인구 상태에 따라 피트니스를 동적으로 조정함으로써, 단일 목적 최적화 솔버에서 다목적 최적화 알고리즘을 설계할 수 있는가?
• RQ2 열등한 해들에 대해 파레토 최적 해역으로부터의 거리 페널티를 도입함으로써, 표준 히퍼볼륨 기반 방법에 비해 수렴성과 다양성 향상이 이루어지는가?
• RQ3 COMO-CMA-ES는 이중 목적 볼록-이차 문제에서 선형 수렴을 달성할 수 있으며, MO-CMA-ES, NSGA-II 및 SMS-EMOA와 비교해 어떻게 성능을 내는가?
• RQ4 COMO-CMA-ES의 비엘리트리즘 콤마-선택 전략은 최상의 해들을 유지하지 않음에도 불구하고, 더 나은 다양성과 아카이브 품질을 이끌어내는가?
• RQ5 COMO-CMA-ES는 볼록-이차 문제에서 헤시안 행렬의 회전에 얼마나 강인한가? 이러한 변환 하에서도 선형 수렴을 유지하는가?

주요 결과

• COMO-CMA-ES는 이중 목적 볼록-이차 문제에서 최적의 $ p $-분포로 선형 수렴을 보이며, 파레토 집합이 비틀어지는 경우에도 이를 포함한 모든 회전된 인스턴스에서 성능을 유지한다.
• 5차원 이중 구 함수에서 COMO-CMA-ES와 MO-CMA-ES 모두 선형 수렴을 보이며, MO-CMA-ES는 약 30% 더 빠른 속도를 기록한다.
• 10차원의 cigtab-sep-1 함수에서 COMO-CMA-ES는 각 커널당 2000~4000 평가 사이에 일시적인 평탄한 구간을 보이지만, 결국 MO-CMA-ES보다 더 나은 최종 수렴 속도를 확보한다.
• 모든 시험 문제에서 COMO-CMA-ES는 수렴 갭이 가장 낮게 유지되며, NSGA-II 및 SMS-EMOA의 값과 비교해 수개의 지수 차수 낮은 수치를 기록한다.
• 아카이브 품질을 전적으로 고려하지 않았음에도 불구하고, 실험의 9개 중 8개에서 COMO-CMA-ES가 가장 낮은 아카이브 갭을 기록하였으며, 오직 5D의 cigtab-sep-1 함수에서 7000 평가 이후 NSGA-II가 약간 뛰어난 성능을 보였다.
• 우수한 아카이브 성능는 비엘리트리즘 CMA-ES의 큰 정적 분산과 UHVI 피트니스에서 유도되는 암묵적 군집 거리 페널티로 인해 비열등한 해들 사이의 탐색되지 않은 영역을 선호하는 데 기인한다.