[论文解读] IOHanalyzer: Performance Analysis for Iterative Optimization Heuristic

Hao Wang, Diederick Vermetten+3 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 45被引用 10

一句话总结

IOHanalyzer 是一个开源的、交互式的 R/C++ 工具，用于分析、比较和可视化迭代优化启发式算法（IOHs，如进化算法和局部搜索算法）的性能数据。它支持在实值、单目标问题上对固定目标和固定预算性能进行详细统计分析，兼容 COCO、Nevergrad 和 IOHexperimenter 的基准数据，并提供可自定义的性能度量方式以及动态状态参数的追踪功能。

ABSTRACT

Benchmarking and performance analysis play an important role in understanding the behaviour of iterative optimization heuristics (IOHs) such as local search algorithms, genetic and evolutionary algorithms, Bayesian optimization algorithms, etc. This task, however, involves manual setup, execution, and analysis of the experiment on an individual basis, which is laborious and can be mitigated by a generic and well-designed platform. For this purpose, we propose IOHanalyzer, a new user-friendly tool for the analysis, comparison, and visualization of performance data of IOHs. Implemented in R and C++, IOHanalyzer is fully open source. It is available on CRAN and GitHub. IOHanalyzer provides detailed statistics about fixed-target running times and about fixed-budget performance of the benchmarked algorithms on real-valued, single-objective optimization tasks. Performance aggregation over several benchmark problems is possible, for example in the form of empirical cumulative distribution functions. Key advantages of IOHanalyzer over other performance analysis packages are its highly interactive design, which allows users to specify the performance measures, ranges, and granularity that are most useful for their experiments, and the possibility to analyze not only performance traces, but also the evolution of dynamic state parameters. IOHanalyzer can directly process performance data from the main benchmarking platforms, including the COCO platform, Nevergrad, and our own IOHexperimenter. An R programming interface is provided for users preferring to have a finer control over the implemented functionalities.

研究动机与目标

• 通过提供一个统一的自动化平台，解决迭代优化启发式算法（IOHs）性能分析中人工操作繁琐的问题。
• 支持对多种 IOHs（包括遗传算法、局部搜索和贝叶斯优化）进行全面的性能评估。
• 支持对固定目标和固定预算性能指标进行交互式、用户可配置的高粒度分析。
• 将分析范围从性能轨迹扩展至优化过程中动态状态参数的演变过程。
• 通过直接数据导入，确保与 COCO、Nevergrad 和 IOHexperimputer 等主要基准平台的互操作性。

提出的方法

• IOHanalyzer 使用 R 和 C++ 实现，兼顾性能与灵活性，其完整开源代码可在 CRAN 和 GitHub 上获取。
• 支持在多个基准问题上对固定目标运行时间和固定预算性能进行详细统计分析。
• 提供对经验累积分布函数（ECDF）的交互式可视化，用于聚合性能的比较。
• 用户可通过友好的界面自定义性能度量方式、分析范围和粒度。
• 可处理性能轨迹和动态状态参数，从而提供超越最终解质量的算法行为洞察。
• 为高级用户提供 R 编程接口，以访问并扩展工具的核心功能。

实验结果

研究问题

• RQ1 如何使迭代优化启发式算法的性能分析更具可扩展性，并减少对人工干预的依赖？
• RQ2 在多种基准问题上，哪些性能度量方式最有效且可由用户自定义，以用于 IOHs 的比较？
• RQ3 统一平台在同时分析性能轨迹和动态状态演化方面，其能力可达到何种程度？
• RQ4 IOHanalyzer 在集成和处理来自 COCO 和 Nevergrad 等异构基准平台数据方面，效率如何？
• RQ5 与静态或预定义的性能评估流水线相比，交互式、可自定义分析具有哪些优势？

主要发现

• IOHanalyzer 实现了迭代优化启发式算法的自动化、交互式和可自定义的性能分析，显著减少了基准测试工作流中的手动操作。
• 该工具支持在实值、单目标优化任务中对固定目标和固定预算性能进行详细统计分析。
• 可为多个基准问题的性能聚合生成经验累积分布函数（ECDF）。
• IOHanalyzer 不仅支持性能轨迹分析，还可分析动态状态参数，从而更深入地揭示算法执行过程中的行为特征。
• 平台原生支持从 COCO、Nevergrad 和 IOHexperimenter 等主要基准框架导入数据，确保广泛的兼容性。
• R 编程接口的提供使高级用户能够扩展和自定义分析功能，超越标准界面的限制。