[논문 리뷰] Using Well-Understood Single-Objective Functions in Multiobjective Black-Box Optimization Test Suites

Dimo Brockhoff, Tea Tušar외 2명|arXiv (Cornell University)|2016. 04. 01.

Advanced Multi-Objective Optimization Algorithms참고 문헌 37인용 수 42

한 줄 요약

이 논문은 기존의 잘 알려진 bbob 벤치마크에서 유래한 단일 목적 함수들을 조합하여 다목적 블랙박스 최적화 테스트 세트를 구축하는 새로운 접근법을 제안한다. 결과적으로 생성된 bbob-biobj 및 bbob-biobj-ext 테스트 세트는 각각 55개와 92개의 이목적 함수를 포함하며, 비분리성, 악조건성, 다모드성과 같은 복잡하고 실용적인 과제를 물려받아 실제 문제의 구조를 모방한다. 이는 성능 비교를 가능하게 하여 결정론적 및 확률적 해법을 평가할 수 있도록 한다.

ABSTRACT

Several test function suites are being used for numerical benchmarking of multiobjective optimization algorithms. While they have some desirable properties, like well-understood Pareto sets and Pareto fronts of various shapes, most of the currently used functions possess characteristics that are arguably under-represented in real-world problems. They mainly stem from the easier construction of such functions and result in improbable properties such as separability, optima located exactly at the boundary constraints, and the existence of variables that solely control the distance between a solution and the Pareto front. Here, we propose an alternative way to constructing multiobjective problems-by combining existing single-objective problems from the literature. We describe in particular the bbob-biobj test suite with 55 bi-objective functions in continuous domain, and its extended version with 92 bi-objective functions (bbob-biobj-ext). Both test suites have been implemented in the COCO platform for black-box optimization benchmarking. Finally, we recommend a general procedure for creating test suites for an arbitrary number of objectives. Besides providing the formal function definitions and presenting their (known) properties, this paper also aims at giving the rationale behind our approach in terms of groups of functions with similar properties, objective space normalization, and problem instances. The latter allows us to easily compare the performance of deterministic and stochastic solvers, which is an often overlooked issue in benchmarking.

연구 동기 및 목표

• 기존의 다목적 테스트 세트에서 과도하게 나타나는 인위적이고 비현실적인 특성(예: 분리 가능성, 경계 기반 파레토 집합, 거리/위치 변수 등)을 해결하기 위해.
• bbob 벤치마크의 기존 단일 목적 함수를 활용하여 알려진 실용적 과제를 반영함으로써 더 현실적이고 다양한 다목적 최적화 문제 세트를 구축하기 위해.
• 통제된 변형을 가진 문제 인스턴스를 통해 결정론적 및 확률적 최적화 알고리즘의 성능을 공정하고 체계적으로 비교할 수 있도록 하기 위해.
• 모든 수의 목적을 위한 테스트 세트를 생성할 수 있는 일반적이고 확장 가능한 프레임워크를 제공하기 위해.
• 실제 블랙박스 최적화 문제에서 관찰되는 본질적 과제와 더 가깝게 일치시켜 벤치마킹 방법론을 향상시키기 위해.

제안 방법

• 이 방법은 bbob 세트의 단일 목적 함수 쌍을 조합하여 이목적 문제를 구성하며, 다모드성, 악조건성, 비분리성과 같은 알려진 성질을 유지한다.
• 각 이목적 함수는 단일 목적 함수의 쌍으로 정의되며, 파레토 최적 해에 기여하는 데 균형을 이루기 위해 목적 함수를 스케일링하고 정규화한다.
• 테스트 세트는 COCO 플랫폼에 구현되어 표준화된 벤치마킹을 지원하며, 결정론적 및 확률적 해법 모두에 대한 인스턴스 기반 평가를 가능하게 한다.
• 함수들은 공통된 구조적 성질(예: 약한 구조, 강한 구조)을 기반으로 그룹화되어 있어 알고리즘적 과제를 반영하고 대상 분석을 지원한다.
• 이 방법은 실생활에서 관찰되는 현실적인 과제를 반영하여, 최적해가 도메인 경계에만 국한되거나 파레토 최적 해와의 거리를 제어하는 데만 사용되는 변수 등 인위적인 특성을 피한다.
• 다양한 단일 목적 함수를 체계적으로 조합함으로써 두 개 이상의 목적을 가진 문제로 프레임워크를 확장할 수 있는 일반 절차를 제안한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 실용적인 블랙박스 최적화 문제에서 관찰되는 복잡하고 현실적인 과제를 반영하면서도 인위적인 수학적 구조를 피할 수 있는 다목적 테스트 세트를 설계할 수 있는가?
• RQ2 기존의 다목적 테스트 세트가 실제로의 문제에서 드물게 나타나는 특성들(예: 분리 가능성, 경계 기반 파레토 집합, 거리/위치 변수 등)을 과도하게 강조하고 있는 정도는 어느 정도인가?
• RQ3 bbob 벤치마크의 잘 알려진 단일 목적 함수들을 조합하여, 철저한 알고리즘 벤치마킹에 적합한 풍부하고 실용적인 과제 프로파일을 가진 다목적 문제를 생성할 수 있는가?
• RQ4 문제 인스턴스를 어떻게 활용하여 다목적 환경에서 결정론적 및 확률적 최적화 알고리즘의 성능을 공정하게 비교할 수 있는가?
• RQ5 임의의 수의 목적을 가진 다목적 테스트 세트를 생성하기 위한 확장 가능하고 시스템적인 방법은 무엇인가?

주요 결과

• bbob-biobj 테스트 세트는 bbob 벤치마크의 잘 알려진 단일 목적 함수에서 유도된 55개의 이목적 함수를 포함하며, 비분리성, 다모드성과 같은 복잡하고 현실적인 과제를 유지한다.
• 확장된 bbob-biobj-ext 세트는 함수 수를 92개로 늘려 다목적 최적화의 구조적 및 알고리즘적 과제를 더 광범위하게 커버한다.
• 제안된 방법은 최적해가 도메인 경계에만 국한되거나 파레토 최적 해와의 거리를 제어하는 데만 사용되는 변수 등 인위적인 특성을 효과적으로 피하여 현실성을 향상시켰다.
• 문제 인스턴스의 포함으로 인해 결정론적 및 확률적 해법 간의 직접적이고 공정한 비교가 가능해졌으며, 기존의 벤치마킹 관행에서 중요한 격차를 메웠다.
• 함수들은 공통된 성질을 기반으로 의미 있는 그룹(예: 약한 구조 - 약한 구조)으로 분류되어 있어 알고리즘 행동의 대상 분석을 가능하게 한다.
• 이 프레임워크를 통해 여러 단일 목적 함수를 조합함으로써 임의의 수의 목적을 가진 테스트 세트를 생성할 수 있으며, 확장 가능하고 유연한 벤치마킹 솔루션을 제공한다.