[논문 리뷰] IOHanalyzer: Performance Analysis for Iterative Optimization Heuristic

Hao Wang, Diederick Vermetten외 3명|arXiv (Cornell University)|2020. 07. 08.

Advanced Multi-Objective Optimization Algorithms참고 문헌 45인용 수 10

한 줄 요약

IOHanalyzer는 유전적 알고리즘, 국소 탐색 알고리즘 등 반복 최적화 휠러스티크스(IOHs)의 성능 데이터를 분석하고 비교하며 시각화할 수 있는 오픈소스이자 상호작용 가능한 R/C++ 도구입니다. 실수값, 단일 목적 문제에서 고정 타겟 및 고정 예산 성능에 대한 세밀한 통계 분석을 지원하며, COCO, Nevergrad, IOHexperimenter의 벤치마크 데이터를 포함하고, 사용자 정의 성능 측정 기준과 동적 상태 파rameter 추적 기능을 제공합니다.

ABSTRACT

Benchmarking and performance analysis play an important role in understanding the behaviour of iterative optimization heuristics (IOHs) such as local search algorithms, genetic and evolutionary algorithms, Bayesian optimization algorithms, etc. This task, however, involves manual setup, execution, and analysis of the experiment on an individual basis, which is laborious and can be mitigated by a generic and well-designed platform. For this purpose, we propose IOHanalyzer, a new user-friendly tool for the analysis, comparison, and visualization of performance data of IOHs. Implemented in R and C++, IOHanalyzer is fully open source. It is available on CRAN and GitHub. IOHanalyzer provides detailed statistics about fixed-target running times and about fixed-budget performance of the benchmarked algorithms on real-valued, single-objective optimization tasks. Performance aggregation over several benchmark problems is possible, for example in the form of empirical cumulative distribution functions. Key advantages of IOHanalyzer over other performance analysis packages are its highly interactive design, which allows users to specify the performance measures, ranges, and granularity that are most useful for their experiments, and the possibility to analyze not only performance traces, but also the evolution of dynamic state parameters. IOHanalyzer can directly process performance data from the main benchmarking platforms, including the COCO platform, Nevergrad, and our own IOHexperimenter. An R programming interface is provided for users preferring to have a finer control over the implemented functionalities.

연구 동기 및 목표

• 반복 최적화 휠러스티크스(IOHs)의 수작업 성능 분석이 고된 점을 해결하기 위해 통합적이고 자동화된 플랫폼을 제공함으로써.
• 유전 알고리즘, 국소 탐색, 베이지안 최적화를 포함한 다양한 IOHs에 대한 종합적인 성능 평가를 지원함으로써.
• 고정 타겟 및 고정 예산 성능 측정 기준에 대한 상호작용적이고 사용자 설정이 가능한 분석을 높은 정밀도로 가능하게 함으로써.
• 성능 트레이스를 넘어서 최적화 과정 중 동적 상태 파rameter의 변화를 분석함으로써.
• COCO, Nevergrad, IOHexperimputer와 같은 주요 벤치마킹 플랫폼 간의 상호운용성을 확보하기 위해 직접 데이터 수신을 통해.

제안 방법

• 성능과 유연성을 확보하기 위해 R과 C++로 구현되었으며, CRAN과 GitHub에서 전체 오픈소스로 공개되어 있습니다.
• 다양한 벤치마크 문제에서 고정 타겟 실행 시간과 고정 예산 성능에 대한 세밀한 통계 분석을 지원합니다.
• 집계된 성능 비교를 위한 경험적 누적분포함수(ECDF)의 상호작용적 시각화를 제공합니다.
• 사용자 친화적인 인터페이스를 통해 성능 측정 기준, 분석 범위, 정밀도를 사용자 정의할 수 있습니다.
• 성능 트레이스와 동적 상태 파rameter를 처리하여 최종 해답 품질을 넘어서 알고리즘 행동에 대한 통찰을 가능하게 합니다.
• 고급 사용자를 위해 도구의 핵심 기능에 접근하고 확장할 수 있는 R 프로그래밍 인터페이스를 제공합니다.

실험 결과

연구 질문

• RQ1 반복 최적화 휠러스티크스의 성능 분석을 어떻게 더 스케일러블하게 하고 수작업에 의존하지 않게 만들 수 있을까요?
• RQ2 다양한 벤치마크 문제에서 IOHs를 비교할 때 가장 효과적이고 사용자 설정이 가능한 성능 측정 기준은 무엇일까요?
• RQ3 통합 플랫폼이 IOHs의 성능 트레이스와 동적 상태 변화의 둘 다를 분석하는 데 얼마나 효과적으로 기여할 수 있을까요?
• RQ4 IOHanalyzer는 COCO 및 Nevergrad와 같은 이질적인 벤치마킹 플랫폼의 데이터를 얼마나 효과적으로 통합하고 처리할 수 있을까요?
• RQ5 정적 또는 사전 정의된 성능 평가 파이프라인에 비해 상호작용적이고 사용자 설정이 가능한 분석은 어떤 이점을 제공할까요?

주요 결과

• IOHanalyzer는 반복 최적화 휠러스티크스에 대한 자동화, 상호작용 및 사용자 설정이 가능한 성능 분석을 가능하게 하여 벤치마크 워크플로우에서의 수작업을 크게 감소시킵니다.
• 도구는 실수값, 단일 목적 최적화 작업에서 고정 타겟 및 고정 예산 성능에 대한 세밀한 통계 분석을 지원합니다.
• 다양한 벤치마크 문제에 걸쳐 성능 집계를 위한 경험적 누적분포함수(ECDF)를 생성할 수 있습니다.
• IOHanalyzer는 성능 트레이스 외에도 동적 상태 파rameter의 분석을 가능하게 하여 최적화 실행 중 알고리즘 행동에 대한 깊이 있는 통찰을 제공합니다.
• 플랫폼은 COCO, Nevergrad, IOHexperimenter를 포함한 주요 벤치마킹 프레임워크에서 직접 데이터를 수신하여 광범위한 호환성을 확보합니다.
• R 프로그래밍 인터페이스의 제공으로 고급 사용자가 표준 인터페이스를 초월해 분석 기능을 확장하고 커스터마이징할 수 있습니다.