[論文レビュー] A Review of 315 Benchmark and Test Functions for Machine Learning Optimization Algorithms and Metaheuristics with Mathematical and Visual Descriptions

M.Z. Naser, ‬‬‬Mohammad Khaled al-Bashiti+8 more|arXiv (Cornell University)|Jun 13, 2024

Machine Learning and Data Classification被引用数 4

ひとこと要約

本論文は、機械学習最適化およびメタヒューリスティックアルゴリズムで使用される315のベンチマーク関数とテスト関数について包括的なレビューを提供し、詳細な数学的定式化、視覚的記述、分野固有の適性を提示している。25の最も頻繁に使用される関数を同定し、2つの新しい高次元で動的かつ挑戦的なテスト関数を提案し、現在のベンチマーク手法におけるギャップを明らかにすることで、将来のアルゴリズム開発を支援する。

ABSTRACT

In the rapidly evolving optimization and metaheuristics domains, the efficacy of algorithms is crucially determined by the benchmark (test) functions. While several functions have been developed and derived over the past decades, little information is available on the mathematical and visual description, range of suitability, and applications of many such functions. To bridge this knowledge gap, this review provides an exhaustive survey of more than 300 benchmark functions used in the evaluation of optimization and metaheuristics algorithms. This review first catalogs benchmark and test functions based on their characteristics, complexity, properties, visuals, and domain implications to offer a wide view that aids in selecting appropriate benchmarks for various algorithmic challenges. This review also lists the 25 most commonly used functions in the open literature and proposes two new, highly dimensional, dynamic and challenging functions that could be used for testing new algorithms. Finally, this review identifies gaps in current benchmarking practices and suggests directions for future research.

研究の動機と目的

• 最適化およびメタヒューリスティック分野で広く使用されているベンチマーク関数の数学的および視覚的特性に関する、アクセス可能で詳細な情報の不足を是正すること。
• 複雑さ、特性、応用分野に基づいて315のベンチマーク関数を体系的に分類し、アルゴリズム選定を改善すること。
• オープンリサーチ文脈において最も頻繁に使用されている25のベンチマーク関数を同定し、研究者にとっての標準的リファレンスを確立すること。
• 次世代の最適化アルゴリズムの評価に適した、2つの新しい高次元で動的かつ困難なテスト関数を提案すること。
• 現在のベンチマーク手法における制限を特定し、より強固なアルゴリズム評価のための今後の研究方向を提案すること。

提案手法

• 数学的定式化、視覚的特徴、複雑さ、分野関連性に基づいて、315のベンチマークおよびテスト関数を体系的に調査・分類する。
• 単峰性、多峰性、分離可能・非分離可能、スケーラブル性、固定次元性などの特性に基づいて関数を分類する。
• 2次元および3次元プロットを用いた視覚的表現により、地形と探索空間の複雑さを明確化する。
• オープンリソース文脈におけるベンチマーク関数の使用頻度を分析し、最も一般的に使用されている25の関数を同定する。
• 高次元性、動的シフト、および増加した複雑性を持つ2つの新しいベンチマーク関数を設計・形式化する。
• 標準化の欠如や現実世界の問題特性の不十分な表現といった、現在のベンチマーク手法におけるギャップを特定する。

実験結果

リサーチクエスチョン

• RQ1 文献において最も頻繁に使用されているベンチマーク関数は何か？ その関数がアルゴリズム評価において優位性を示す要因は何か？
• RQ2 ベンチマーク関数の数学的および視覚的特性は、最適化アルゴリズムの性能評価にどのように影響を与えるか？
• RQ3 メタヒューリスティックおよび機械学習最適化アルゴリズムの評価において、現在のベンチマーク手法にどのような制限があるか？
• RQ4 現実世界の最適化問題の複雑さをよりよく反映できるように、新しいベンチマーク関数をどのように設計できるか？
• RQ5 特定のアルゴリズム的課題に適したベンチマーク関数を選定するにあたり、どのような基準を設けるべきか？

主な発見

• 文献で最も頻繁に使用されている25のベンチマーク関数が同定され、アルゴリズム評価のための標準的リファレンスが提供された。
• 多くのベンチマーク関数が詳細な数学的および視覚的記述を欠いており、アルゴリズム開発および比較における顕著な知識ギャップが生じている。
• 本レビューは、既存のベンチマークが高次元性、動的変化、現実世界の複雑な問題を十分に反映していないことを明らかにした。
• 2つの新しいベンチマーク関数が提案された。これらは高次元性、動的変化、および増加した複雑性を持つように設計されており、現代の最適化アルゴリズムの評価の厳密性を向上させることを目的としている。
• 本研究は、標準化され、多様性があり、現実的であるベンチマークスイートの構築が、最適化アルゴリズムの公平かつ意味のある評価を実現するために急務であることを強調した。
• 315のベンチマーク関数の視覚的および数学的記述が一元的に整備され、メタヒューリスティクスおよび機械学習最適化分野の研究者にとって包括的なリソースが提供された。