[论文解读] A Review of 315 Benchmark and Test Functions for Machine Learning Optimization Algorithms and Metaheuristics with Mathematical and Visual Descriptions

M.Z. Naser, ‬‬‬Mohammad Khaled al-Bashiti+8 more|arXiv (Cornell University)|Jun 13, 2024

Machine Learning and Data Classification被引用 4

一句话总结

本文全面回顾了机器学习优化和元启发式算法中使用的315个基准函数与测试函数，提供了详细的数学公式、视觉描述以及特定领域的适用性。识别出使用频率最高的25个函数，提出了两个新型的高维、动态且具有挑战性的测试函数，并指出了当前基准测试实践中的不足，以指导未来算法的开发。

ABSTRACT

In the rapidly evolving optimization and metaheuristics domains, the efficacy of algorithms is crucially determined by the benchmark (test) functions. While several functions have been developed and derived over the past decades, little information is available on the mathematical and visual description, range of suitability, and applications of many such functions. To bridge this knowledge gap, this review provides an exhaustive survey of more than 300 benchmark functions used in the evaluation of optimization and metaheuristics algorithms. This review first catalogs benchmark and test functions based on their characteristics, complexity, properties, visuals, and domain implications to offer a wide view that aids in selecting appropriate benchmarks for various algorithmic challenges. This review also lists the 25 most commonly used functions in the open literature and proposes two new, highly dimensional, dynamic and challenging functions that could be used for testing new algorithms. Finally, this review identifies gaps in current benchmarking practices and suggests directions for future research.

研究动机与目标

• 解决在优化和元启发式算法中广泛使用的基准函数的数学和视觉特性方面缺乏可访问、详细信息的问题。
• 基于复杂性、特征和应用领域，对315个基准函数进行系统分类，以改善算法选择。
• 识别开放文献中使用频率最高的25个基准函数，为研究人员建立标准参考。
• 提出两个新型的、高维的、动态的且具有挑战性的测试函数，用于评估下一代优化算法。
• 识别当前基准测试实践中的局限性，并提出未来研究方向，以实现更稳健的算法评估。

提出的方法

• 基于数学公式、视觉特征、复杂性和领域相关性，对315个基准函数与测试函数进行系统性调查与分类。
• 根据单峰、多峰、可分离、不可分离、可扩展和固定维度等特性对函数进行分类。
• 使用二维和三维图对每个函数进行可视化表示，以说明其地形特征和搜索空间的复杂性。
• 分析开放文献中基准函数的使用频率，以识别出使用最广泛的25个函数。
• 设计并形式化两个新型基准函数，具备高维度、动态变化和更高复杂性，以挑战现代优化算法。
• 识别当前基准测试实践中的不足，包括缺乏标准化以及对现实世界问题特征代表性不足。

实验结果

研究问题

• RQ1 文献中最常使用的基准函数有哪些？其何种特性使其在算法评估中占主导地位？
• RQ2 基准函数的数学和视觉特性如何影响优化算法的性能评估？
• RQ3 当前基准测试实践在评估元启发式算法和机器学习优化算法方面存在哪些局限性？
• RQ4 如何设计新型基准函数，以更好地反映现实世界优化问题的复杂性？
• RQ5 应依据何种标准来选择适合特定算法挑战的基准函数？

主要发现

• 识别出文献中使用频率最高的25个基准函数，为算法评估提供了标准化参考。
• 许多基准函数缺乏详细的数学和视觉描述，导致算法开发与比较中存在显著的知识空白。
• 该综述揭示，现有基准通常无法充分代表高维、动态和复杂的现实世界问题。
• 提出了两个新型基准函数——设计为高度维度化、动态且具有挑战性——以提升算法测试的严谨性。
• 本研究强调了迫切需要标准化、多样化且现实的基准测试套件，以确保优化算法评估的公平性与意义性。
• 整理了315个基准函数的视觉与数学描述，为元启发式算法和机器学习优化领域的研究人员提供了全面的资源。