[논문 리뷰] COCO: Performance Assessment

Nikolaus Hansen, Anne Auger외 3명|arXiv (Cornell University)|2016. 05. 11.

Parallel Computing and Optimization Techniques참고 문헌 17인용 수 48

한 줄 요약

이 논문은 목표 품질 수준에 도달하기까지의 기능 평가 수를 기반으로 한 블랙박스 최적화 알고리즘의 성능 평가 프레임워크인 COCO를 소개한다. 시뮬레이션된 재시작, 경험분포함수(ECDF), 평균 런타임(aRT)을 사용하여 다양한 벤치마크 문제와 다양한 목표 정밀도에서 정량적이고 해석 가능한 비교를 가능하게 한다. 예를 들어, 한 알고리즘이 다른 알고리즘보다 '일곱 배 빠르다'는 등의 진술이 가능하다.

ABSTRACT

We present an any-time performance assessment for benchmarking numerical optimization algorithms in a black-box scenario, applied within the COCO benchmarking platform. The performance assessment is based on runtimes measured in number of objective function evaluations to reach one or several quality indicator target values. We argue that runtime is the only available measure with a generic, meaningful, and quantitative interpretation. We discuss the choice of the target values, runlength-based targets, and the aggregation of results by using simulated restarts, averages, and empirical distribution functions.

연구 동기 및 목표

• 블랙박스 상황에서 수치 최적화 알고리즘의 정량적이고 해석 가능하며 의미 있는 성능 평가를 개발하기 위해.
• CPU 시간 기반 벤치마킹의 한계를 극복하기 위해 하드웨어 및 언어에 관계없이 동일한 비용 측정 기준으로 기능 평가 횟수를 사용하기 위해.
• 런타임 기반 성능 지표를 통해 '알고리즘 A는 B보다 일곱 배 빠르다'와 같은 비교적 명확한 진술을 가능하게 하기 위해.
• ECDF와 aRT를 사용하여 문제 인스턴스, 목표 값, 함수 유형 간의 집계를 지원하기 위해.
• 다양한 문제 특성에 걸쳐 최적화 알고리즘을 평가하기 위한 표준화되고 확장 가능한 벤치마킹 프레임워크를 제공하기 위해.

제안 방법

• 정의된 목표 값에 도달하기 위해 필요한 목적 함수 평가 횟수를 성능 측정 기준으로 삼으며, 이를 주요 비용 지표로 간주한다.
• 실제 알고리즘 재실행이 필요 없도록 시뮬레이션된 재시작을 사용하여 런타임을 추정한다.
• 여러 문제 인스턴스와 목표 값 간의 런타임 경험분포함수(ECDF)를 추정하기 위해 부트스트랩 기법을 사용한다.
• 성공한 런타임의 기하평균을 나타내는 요약 통계량으로 평균 런타임(aRT)을 계산한다.
• 문제 하위군(예: 분리 가능, 단일 최적) 및 모든 함수에 걸쳐 결과를 집계하여 알고리즘 간 비교를 가능하게 한다.
• 반로그 스케일 플롯에서 ECDF를 사용하여 성능을 시각화하며, 수평 이동은 승수적 속도 차이를 나타낸다.

실험 결과

연구 질문

• RQ1 기능 평가 수의 런타임을 어떻게 사용하여 블랙박스 최적화에서 의미 있고 정량적이며 해석 가능한 성능 평가를 제공할 수 있는가?
• RQ2 알고리즘 벤치마킹에서 CPU 시간 대비 기능 평가 횟수를 사용하는 데 있는 장점가 무엇인가?
• RQ3 여러 문제 인스턴스, 목표 값, 함수 유형 간에 성능을 어떻게 의미 있게 집계할 수 있는가?
• RQ4 시뮬레이션된 재시작과 부트스트랩 기법이 신뢰할 수 있는 런타임 분포 추정에 어떤 역할을 하는가?
• RQ5 ECDF와 aRT를 어떻게 사용하여 'X는 Y보다 일곱 배 빠르다'와 같은 진술을 뒷받침할 수 있는가?

주요 결과

• 기능 평가 수의 런타임은 비율 척도이며, 해석 가능하고 하드웨어에 영향을 받지 않는 측정 기준으로, '일곱 배 빠르다'와 같은 정량적 비교를 가능하게 한다.
• 실제 알고리즘의 왼쪽 가장자리보다 약 두 배에서 세 배 빠른 런타임을 기록한 '최고의 2009' 알고리즘은 BBOB-2009 벤치마크에서 문제-목표 쌍 별 최고 성능 알고리즘을 조합하여 구성된 인공 알고리즘이다.
• 차원 5에서 '최고의 2009' 알고리즘은 약 10^7 × n 기능 평가 횟수 이내에 모든 문제를 해결한다.
• 구형 함수에서 순수한 랜덤 검색의 ECDF 플롯은 약 20퍼센트의 문제들이 5,000개의 기능 평가 이내에 해결되었음을 보여준다 (10^3 × n).
• ECDF 플롯의 교차 표시는 실패한 런타임에서 사용된 최대 예산의 중앙값을 나타내며, 이 시점 이후의 런타임은 적어도 한 번의 실패한 시도가 존재함을 의미한다.
• ECDF에서 x = 10^7를 초과하는 작은 점은 모든 시도에서 성공적으로 해결된 (함수, 목표) 쌍의 총 비율을 나타낸다.