[논문 리뷰] COCO: The Large Scale Black-Box Optimization Benchmarking (bbob-largescale) Test Suite

Ouassim Elhara, Konstantinos Varelas외 5명|arXiv (Cornell University)|2019. 03. 15.

Advanced Multi-Objective Optimization Algorithms인용 수 11

한 줄 요약

이 논문은 차원 20에서 640까지의 24개의 단일 목적 연속 함수를 포함하는 대규모 블랙박스 최적화를 위한 기준 테스트 세트인 COCO bbo-largescale을 소개한다. 이는 메모리 및 계산 비용을 줄이면서도 회전 테스트 함수의 핵심 성질을 유지하는 계산적으로 효율적인 블록 대각형 및 순열 기반 회전 방법을 제안한다. 이는 고차원에서 최적화 알고리즘의 확장 가능하고 재현 가능한 성능 평가를 가능하게 한다.

ABSTRACT

The bbob-largescale test suite, containing 24 single-objective functions in continuous domain, extends the well-known single-objective noiseless bbob test suite, which has been used since 2009 in the BBOB workshop series, to large dimension. The core idea is to make the rotational transformations R, Q in search space that appear in the bbob test suite computationally cheaper while retaining some desired properties. This documentation presents an approach that replaces a full rotational transformation with a combination of a block-diagonal matrix and two permutation matrices in order to construct test functions whose computational and memory costs scale linearly in the dimension of the problem.

연구 동기 및 목표

• 차원이 최대 640에 이르는 대규모 최적화 문제를 지원할 수 있도록 잘 정립된 bbo-largescale 테스트 세트를 확장하기 위해.
• 기존 기준 함수에서 전체 회전 변환의 높은 계산 및 메모리 비용 문제를 해결하기 위해 더 효율적인 대안을 도입하기 위해.
• 자원 요구량을 줄이면서도 회전 불변성 및 문제 난이도와 같은 핵심 성질을 유지하기 위해.
• 유도 미분 최적화 알고리즘의 대규모 문제에 대한 재현 가능하고 확장 가능한 성능 평가를 가능하게 하기 위해.
• 대차원 최적화 작업을 위한 BBOB 워크숍 시리즈에서 표준화된 벤치마킹을 지원하기 위해.

제안 방법

• 전체 회전 변환을 블록 대각형 행렬 구조와 두 개의 순열 행렬을 조합하여 대체하여 계산 비용을 감소시키기 위해.
• 블록 대각형 회전 행렬과 순열을 조합하여 차원에 대해 선형 스케일링이 이루어지는 메모리 및 계산 비용을 확보하기 위해.
• 기존 bbo-largescale 함수의 핵심 성질인 분리 가능성, 악조건성, 편향 등을 유지하면서도 효율성을 향상시키기 위해.
• 각 최적화 문제에 대해 차원 $ n $, 함수 식별자 $ i $, 인스턴스 인덱스 $ j $를 정의하여 삼중조합 $ (n, i, j) $로 문제 인스턴스를 정의하기 위해.
• 목표 값 $ t $를 정의하여 성공 조건을 설정하며, 런타임은 $ f(x) \leq t $를 만족할 때까지의 함수 평가 횟수로 측정하기 위해.
• 결과 테스트 세트가 다양한 문제 차원을 지원하고 기존 BBOB 평가 프레임워크와의 호환성을 유지하기 위해.

실험 결과

연구 질문

• RQ1 대규모 최적화 벤치마크에서 회전 변환을 계산적으로 효율적으로 만들 수 있는가? 이는 문제 품질을 희생시키지 않도록 하기 위해.
• RQ2 블록 대각형 및 순열 기반 회전이 최적화 알고리즘의 확장성과 성능에 어떤 영향을 미치는가?
• RQ3 저비용 회전 방법이 악조건성 및 분리 가능성과 같은 벤치마크 함수의 핵심 특성을 유지할 수 있는가?
• RQ4 새로운 테스트 세트가 고차원 공간에서 다양한 최적화 알고리즘 간의 재현 가능하고 표준화된 벤치마킹을 어떻게 지원하는가?
• RQ5 차원(20에서 640까지)이 새로운 회전 방식을 사용할 때 알고리즘 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 블록 대각형 및 순열 기반 회전 방법은 전체 회전과 달리 차원에 대해 선형으로 증가하는 계산 및 메모리 비용을 감소시킨다.
• 테스트 세트는 차원 20에서 640까지 지원하여 대규모 최적화 설정에서 알고리즘 평가가 가능하다.
• 이 방법은 기존 bbo-largescale 함수의 핵심 성질인 분리 가능성, 악조건성, 편향 등을 유지하여 벤치마크의 타당성을 보장한다.
• 기존 BBOB 평가 프로토콜과의 호환성을 고려하여 설계되어 다양한 차원에서 알고리즘 성능을 직접 비교할 수 있다.
• 런타임 메트릭은 목표 값에 도달할 때까지의 함수 평가 횟수로 정의되어 알고리즘 간 표준화된 성능 측정이 가능하다.
• 테스트 세트는 24개의 단일 목적, 비제약 최소화 함수를 포함하며, 각 함수는 차원, 함수 ID, 인스턴스 인덱스로 매개변수화되어 총 1,440개의 고유 문제(6차원 × 24함수 × 10인스턴스)를 형성한다.