[论文解读] IOHprofiler: A Benchmarking and Profiling Tool for Iterative Optimization Heuristics

Carola Doerr, Hao Wang+3 more|arXiv (Cornell University)|Oct 11, 2018

Embedded Systems Design Techniques参考文献 1被引用 52

一句话总结

IOHprofiler 提供基于固定目标和固定预算分析的迭代优化启发式算法的基准测试和分析，并跟踪参数演化，具备基于 COCO 的实验后端。

ABSTRACT

IOHprofiler is a new tool for analyzing and comparing iterative optimization heuristics. Given as input algorithms and problems written in C or Python, it provides as output a statistical evaluation of the algorithms' performance by means of the distribution on the fixed-target running time and the fixed-budget function values. In addition, IOHprofiler also allows to track the evolution of algorithm parameters, making our tool particularly useful for the analysis, comparison, and design of (self-)adaptive algorithms. IOHprofiler is a ready-to-use software. It consists of two parts: an experimental part, which generates the running time data, and a post-processing part, which produces the summarizing comparisons and statistical evaluations. The experimental part is build on the COCO software, which has been adjusted to cope with optimization problems that are formulated as functions $f:\mathcal{S}^n o \R$ with $\mathcal{S}$ being a discrete alphabet of integers. The post-processing part is our own work. It can be used as a stand-alone tool for the evaluation of running time data of arbitrary benchmark problems. It accepts as input files not only the output files of IOHprofiler, but also original COCO data files. The post-processing tool is designed for an interactive evaluation, allowing the user to chose the ranges and the precision of the displayed data according to his/her needs. IOHprofiler is available on GitHub at \url{https://github.com/IOHprofiler}.

研究动机与目标

• 在离散问题上对迭代优化启发式算法（IOH）进行基准测试和比较，使用统计上可靠的性能指标。
• 基于函数评估作为主要成本衡量标准，提供固定目标和固定预算分析。
• 实现对算法参数演化的跟踪和分析，以帮助自适应启发式算法的设计。

提出的方法

• 两部分工具：一个基于 COCO 的实验部分（数据生成）和一个具有独立能力的后处理部分（分析和可视化）。
• 支持离散字母表上的问题 f:S^n -> R；在实验部分假设最大化，并且问题为无噪声、静态。
• 输出包括固定目标和固定预算情景下的分布、ECDF、直方图和经验 PMF，以及分位数和均值。
• 允许对问题进行变换（仿射、XOR、置换）以测试算法的不变性性质。
• 跟踪用户指定的算法参数，以生成参数演化的相似性能统计。
• 数据格式与 COCO 相仿，提供灵活的粒度选项（complete、interval、target-based、time-based）以及每次运行的统计。

实验结果

研究问题

• RQ1 IOHprofiler 如何在多样化的离散优化问题中以统计上稳健的方式比较 IOHs？
• RQ2 固定目标与固定预算视角如何在评估算法性能方面互为补充？
• RQ3 问题变换（仿射平移、按位 XOR、置换）对算法行为有何影响？
• RQ4 IOHprofiler 是否能够有效跟踪并分析优化过程中算法参数的演化？
• RQ5 实现交互式评估和可复现性所需的标准输出和数据格式是什么？

主要发现

• IOHprofiler 提供统计基准测试输出，包括固定目标运行时间的平均值和分位数，以及固定预算值。
• 它提供 ECDF 曲线、直方图和 PMF 以描述跨运行的性能分布。
• 该工具支持跟踪用户指定的算法参数，以对其随时间或质量里程碑的演化进行分析。
• 后处理部分可以接受 COCO 数据文件或 IOHprofiler 输出，实现灵活的跨兼容性。
• 实验部分面向离散优化问题，允许进行问题变换以测试算法的不变性性质。