[논문 리뷰] IOHprofiler: A Benchmarking and Profiling Tool for Iterative Optimization Heuristics

Carola Doerr, Hao Wang외 3명|arXiv (Cornell University)|2018. 10. 11.

Embedded Systems Design Techniques참고 문헌 1인용 수 52

한 줄 요약

IOHprofiler는 고정목표(fixed-target) 및 고정예산(fixed-budget) 분석을 사용하여 반복적 최적화 휴리스틱의 벤치마킹과 프로파일링을 제공하며, 매개변수 진화 추적과 COCO 기반의 실험 백엔드를 포함합니다.

ABSTRACT

IOHprofiler is a new tool for analyzing and comparing iterative optimization heuristics. Given as input algorithms and problems written in C or Python, it provides as output a statistical evaluation of the algorithms' performance by means of the distribution on the fixed-target running time and the fixed-budget function values. In addition, IOHprofiler also allows to track the evolution of algorithm parameters, making our tool particularly useful for the analysis, comparison, and design of (self-)adaptive algorithms. IOHprofiler is a ready-to-use software. It consists of two parts: an experimental part, which generates the running time data, and a post-processing part, which produces the summarizing comparisons and statistical evaluations. The experimental part is build on the COCO software, which has been adjusted to cope with optimization problems that are formulated as functions $f:\mathcal{S}^n o \R$ with $\mathcal{S}$ being a discrete alphabet of integers. The post-processing part is our own work. It can be used as a stand-alone tool for the evaluation of running time data of arbitrary benchmark problems. It accepts as input files not only the output files of IOHprofiler, but also original COCO data files. The post-processing tool is designed for an interactive evaluation, allowing the user to chose the ranges and the precision of the displayed data according to his/her needs. IOHprofiler is available on GitHub at \url{https://github.com/IOHprofiler}.

연구 동기 및 목표

• 반복적 최적화 휴리스틱(IOH)을 이산 문제들에 걸쳐 통계적으로 신뢰 가능한 성능 지표를 사용하여 벤치마크하고 비교한다.
• 주된 비용 척도로 함수 평가를 기반으로 한 고정목표 및 고정예산 분석을 제공한다.
• 적응형 휴리스틱 설계를 돕기 위해 알고리즘 매개변수의 진화를 추적하고 분석할 수 있게 한다.

제안 방법

• Two-part tool: experimental part (data generation) built on COCO and a post-processing part (analysis and visualization) with standalone capability.
• Supports problems f:S^n -> R over discrete alphabets; 실험 부분은 최대화로 가정하고 노이즈가 없고 정적인 문제를 다룹니다.
• 출력에는 고정목표 및 고정예산 시나리오를 위한 분포, ECDF, 히스토그램 및 경험적 PMF가 포함되며, 분위수와 산술평균도 제공합니다.
• 알고리즘의 불변성 특성을 테스트하기 위한 문제의 변환(아핀 변환, XOR, 순열)을 허용합니다.
• 사용자가 지정한 알고리즘 매개변수를 추적하여 매개변수 진화에 대한 유사한 성능 통계를 생성합니다.
• 데이터 형식은 COCO를 반영하며, 완전, 구간, 타깃 기반, 시간 기반 등 유연한 세부 구성을 제공하고 실행별 통계를 포함합니다.

실험 결과

연구 질문

• RQ1 IOHprofiler가 다양한 이산 최적화 문제들에 대해 통계적으로 강건한 방식으로 IOHs를 어떻게 비교할 수 있는가?
• RQ2 고정목표 및 고정예산 관점은 알고리즘 성능 평가에서 서로 어떻게 보완하는가?
• RQ3 문제 변환(아핀 이동, 비트 XOR, 순열)이 알고리즘 동작에 미치는 영향은 무엇인가?
• RQ4 IOHprofiler가 최적화 중에 알고리즘 매개변수의 진화를 효과적으로 추적하고 분석할 수 있는가?
• RQ5 상호작용적 평가 및 재현을 가능하게 하는 표준 출력 및 데이터 형식은 무엇인가?

주요 결과

• IOHprofiler는 고정목표 실행 시간의 평균 및 분위수, 고정예산 값 등을 포함한 통계적 벤치마킹 결과를 제공합니다.
• 실행 간 성능 분포를 특성화하기 위한 ECDF 곡선, 히스토그램 및 PMF를 제공합니다.
• 사용자가 지정한 알고리즘 매개변수의 진화를 시간 경과나 품질 이정표에 따라 프로파일링하기 위한 추적을 지원합니다.
• 후처리 부분은 COCO 데이터 파일이나 IOHprofiler 출력을 받아 유연한 교차 호환성을 제공합니다.
• 실험 부분은 이산 최적화 문제를 대상으로 설계되었으며 알고리즘의 불변성 속성을 테스트하기 위해 문제 변환을 허용합니다.