[논문 리뷰] IOHexperimenter: Benchmarking Platform for Iterative Optimization Heuristics

Jacob de Nobel, Furong Ye외 4명|arXiv (Cornell University)|2021. 11. 07.

Data Visualization and Analytics인용 수 7

한 줄 요약

IOHexperimenter는 반복 최적화 휠러스틱스(예: 진화적 및 국소 탐색 알고리즘)를 위한 사용자 정의 가능하고 확장 가능한 벤치마킹 플랫폼으로, 다양한 문제에서 알고리즘 성능 및 내부 상태의 표준화된 로깅을 가능하게 한다. IOHanalyzer와의 원활한 통합과 함께, 문제 변환의 유연성까지 제공하여 단일 목표 및 연속 최적화 환경에서 재현 가능하고 철저한 알고리즘 비교에 이상적이다.

ABSTRACT

We present IOHexperimenter, the experimentation module of the IOHprofiler project, which aims at providing an easy-to-use and highly customizable toolbox for benchmarking iterative optimization heuristics such as local search, evolutionary and genetic algorithms, Bayesian optimization techniques, etc. IOHexperimenter can be used as a stand-alone tool or as part of a benchmarking pipeline that uses other components of IOHprofiler such as IOHanalyzer, the module for interactive performance analysis and visualization. IOHexperimenter provides an efficient interface between optimization problems and their solvers while allowing for granular logging of the optimization process. These logs are fully compatible with existing tools for interactive data analysis, which significantly speeds up the deployment of a benchmarking pipeline. The main components of IOHexperimenter are the environment to build customized problem suites and the various logging options that allow users to steer the granularity of the data records.

연구 동기 및 목표

• 반복 최적화 휠러스틱스(예: 진화적 및 국소 탐색 알고리즘)를 위한 확장 가능하고 재사용 가능한 벤치마킹 프레임워크의 부족을 해결하기 위해.
• 알고리즘, 문제, 로깅 컴ponent 간의 표준화되고 모듈화된 인터페이스를 제공하여 호환성과 재현 가능성을 보장하기 위해.
• 제어 파rameter와 해 품질을 포함한 알고리즘 행동의 세밀한 로깅을 다양한 문제 변환 환경에서 가능하게 하기 위해.
• IOHanalyzer와의 통합을 통해 상호작용식 성능 분석을 가능하게 하고, Nevergrad 및 ParadisEO와 같은 외부 알고리즘 프레임워크와의 통합을 지원하기 위해.
• 고정된 문제 세트를 넘어서 사용자가 커스텀 문제 인스턴스와 로깅 전략을 정의할 수 있도록 하여, 초기 범위를 초월한 새로운 연구 요구사항에 적응 가능한 확장성 있는 벤치마킹 기능을 제공하기 위해.

제안 방법

• IOHexperimenter는 문제를 $F = T_y \circ f \circ T_x$ 형태의 변환된 함수로 정의하며, 여기서 $f$는 기본 벤치마크 함수이고 $T_x$, $T_y$는 도메인 및 범위 변환(예: 회전, 이동)을 의미한다.
• 최소한의 오버헤드로 어떤 솔버, 문제, 또는 로거라도 쉽게 통합할 수 있도록, 통합된 C++ 코어와 파이썬 인터페이스를 제공한다.
• 고정된 평가 간격이나 품질 기준치와 같은 사용자 정의 이벤트에 의해 트리거되는 로깅을 통해, 사용자 정의 가능한 데이터 분해능을 제공한다.
• 기본 로거는 두 가지 파일 형식을 출력한다: .info는 메타데이터(함수 ID, 인스턴스, 차원)를, .dat는 공백으로 구분된 형식의 성능 데이터를 담는다.
• 출력 형식은 IOHanalyzer와 완전히 호환되어, 즉시 상호작용식 성능 시각화 및 분석에 사용할 수 있다.
• 사용자 정의 로거도 구현 가능하며, 예를 들어 알고리즘 설정 작업을 위한 최종 성능만 기록하는 로거도 가능하다.

실험 결과

연구 질문

• RQ1 새로운 최적화 문제와 솔버를 지원하기 위해 확장 가능한 벤치마킹 플랫폼를 설계할 수 있는 방법은 무엇인가, 동시에 기존 호환성은 유지할 수 있는가?
• RQ2 해 품질 외에도 알고리즘 행동을 포괄하는 데 있어 로깅의 분해능을 얼마나 세밀하게 사용자 정의할 수 있는가?
• RQ3 재현 가능성과 성능 분 析 도구와의 원활한 통합을 보장하기 위해 벤치마킹 파이프라인을 어떻게 구성할 수 있는가?
• RQ4 한 개의 프레임워크로 연속 최적화(BBOB 등)와 이산 최적화(PBO 등) 문제를 동일한 로깅 형식으로 지원할 수 있는가?
• RQ5 플랫폼가 알고리즘 설정 및 문제 변환 하에서의 불변성 테스트와 같은 고급 사용 사례를 얼마나 효과적으로 지원하는가?

주요 결과

• IOHexperimenter는 다양한 최적화 문제와 솔버에서 성능 및 알고리즘 내부 상태의 일관성 있고 표준화된 로깅을 가능하게 한다.
• 플랫폼은 회전, 이동, 스케일링 등의 문제 변환을 지원하여 알고리즘의 불변성 테스트를 강력하게 가능하게 한다.
• 출력 형식은 IOHanalyzer와 완전히 호환되어 즉시 상호작용식 성능 분석 및 시각화에 사용할 수 있다.
• Nevergrad, ParadisEO, 그리고 모듈러 CMA-ES 구현체와 같은 주요 알고리즘 프레임워크와의 통합을 지원한다.
• 특정 사용 사례에 맞게 사용자 정의 로깅 기능을 구현할 수 있으며, 예를 들어 설정 작업을 위한 최종 결과만 기록하는 로거도 가능하다.
• 플랫폼는 확장 가능하며 사용자 정의 문제와 로거를 지원하여, 초기 목적을 초월한 새로운 연구 요구사항에 적응 가능한 유연성을 지닌다.