[论文解读] IOHexperimenter: Benchmarking Platform for Iterative Optimization Heuristics

Jacob de Nobel, Furong Ye+4 more|arXiv (Cornell University)|Nov 7, 2021

Data Visualization and Analytics被引用 7

一句话总结

IOHexperimenter 是一个可定制、可扩展的迭代优化启发式算法基准测试平台，支持在多种问题上对算法性能和内部状态进行标准化日志记录。它可与 IOHanalyzer 无缝集成以进行性能分析，并支持灵活的问题变换，适用于单目标和连续优化场景下的可复现、严谨的算法比较。

ABSTRACT

We present IOHexperimenter, the experimentation module of the IOHprofiler project, which aims at providing an easy-to-use and highly customizable toolbox for benchmarking iterative optimization heuristics such as local search, evolutionary and genetic algorithms, Bayesian optimization techniques, etc. IOHexperimenter can be used as a stand-alone tool or as part of a benchmarking pipeline that uses other components of IOHprofiler such as IOHanalyzer, the module for interactive performance analysis and visualization. IOHexperimenter provides an efficient interface between optimization problems and their solvers while allowing for granular logging of the optimization process. These logs are fully compatible with existing tools for interactive data analysis, which significantly speeds up the deployment of a benchmarking pipeline. The main components of IOHexperimenter are the environment to build customized problem suites and the various logging options that allow users to steer the granularity of the data records.

研究动机与目标

• 解决迭代优化启发式算法（如进化算法和局部搜索算法）缺乏可扩展、可重用基准测试框架的问题。
• 为算法、问题和日志组件之间提供标准化、模块化的接口，以确保兼容性和可复现性。
• 支持对算法行为的细粒度日志记录，包括控制参数和解的质量，覆盖多种问题变换场景。
• 支持与现有工具（如 IOHanalyzer）集成，以实现交互式性能分析，并与外部算法框架（如 Nevergrad 和 ParadisEO）兼容。
• 通过允许用户定义自定义问题实例和日志策略，将基准测试能力扩展至固定问题集之外。

提出的方法

• IOHexperimenter 将问题定义为变换函数 $F = T_y \circ f \circ T_x$，其中 $f$ 是基础基准函数，$T_x$ 和 $T_y$ 分别为域变换和值域变换（例如旋转、平移）。
• 提供统一的 C++ 核心与 Python 接口，允许用户以最小开销插入任意求解器、问题或日志组件。
• 日志由用户定义的事件触发（如固定评估间隔或质量阈值），实现可定制的数据粒度。
• 默认日志器输出两种文件类型：.info 用于元数据（函数ID、实例、维度），.dat 用于以空格分隔格式存储性能数据。
• 输出格式与 IOHanalyzer 完全兼容，可直接用于交互式性能可视化与分析。
• 可实现自定义日志器，例如仅记录最终性能以支持算法配置任务。

实验结果

研究问题

• RQ1 如何设计基准测试平台，以在不破坏向后兼容性的情况下支持新优化问题和求解器的可扩展性？
• RQ2 日志粒度在多大程度上可自定义，以捕捉解的质量之外的算法行为？
• RQ3 如何构建基准测试流程，以确保可复现性并实现与性能分析工具的无缝集成？
• RQ4 单一框架能否在保持日志一致性的同时，同时支持连续优化（如 BBOB）和离散优化（如 PBO）问题？
• RQ5 该平台在支持高级用例（如算法配置和问题变换下的不变性测试）方面效果如何？

主要发现

• IOHexperimenter 可在多种优化问题和求解器之间实现性能和内部算法状态的一致性、标准化日志记录。
• 该平台支持旋转、平移和缩放等问题变换，可实现对算法不变性的稳健测试。
• 输出格式与 IOHanalyzer 完全兼容，可立即用于交互式性能分析与可视化。
• 该框架支持与主流算法框架（如 Nevergrad、ParadisEO 及模块化 CMA-ES 实现）的集成。
• 可实现自定义日志功能以满足特定用例需求，例如仅记录最终结果以支持配置任务。
• 该平台具备可扩展性，支持用户自定义问题和日志器，可灵活适应超出其初始范围的新研究需求。