[논문 리뷰] A Review of 315 Benchmark and Test Functions for Machine Learning Optimization Algorithms and Metaheuristics with Mathematical and Visual Descriptions

M.Z. Naser, ‬‬‬Mohammad Khaled al-Bashiti외 8명|arXiv (Cornell University)|2024. 06. 13.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 기계학습 최적화 및 메타휴리스틱 알고리즘에서 사용되는 315개의 벤치마크 및 시험 함수에 대한 종합적인 리뷰를 제시하며, 자세한 수학적 수식, 시각적 기술, 영역별 적합성을 제공한다. 연구는 가장 자주 사용되는 25개의 함수를 특정하고, 두 개의 새로운 고차원, 동적, 도전적인 시험 함수를 제안하며, 현재의 벤치마킹 관행에 존재하는 격차를 밝혀내어 향후 알고리즘 개발을 안내한다.

ABSTRACT

In the rapidly evolving optimization and metaheuristics domains, the efficacy of algorithms is crucially determined by the benchmark (test) functions. While several functions have been developed and derived over the past decades, little information is available on the mathematical and visual description, range of suitability, and applications of many such functions. To bridge this knowledge gap, this review provides an exhaustive survey of more than 300 benchmark functions used in the evaluation of optimization and metaheuristics algorithms. This review first catalogs benchmark and test functions based on their characteristics, complexity, properties, visuals, and domain implications to offer a wide view that aids in selecting appropriate benchmarks for various algorithmic challenges. This review also lists the 25 most commonly used functions in the open literature and proposes two new, highly dimensional, dynamic and challenging functions that could be used for testing new algorithms. Finally, this review identifies gaps in current benchmarking practices and suggests directions for future research.

연구 동기 및 목표

• 최적화 및 메타휴리스틱 분야에서 널리 사용되는 벤치마크 함수의 수학적 및 시각적 성질에 대한 접근성 있고 상세한 정보가 부족한 문제를 해결하기 위해.
• 복잡도, 특성, 적용 영역 기반으로 315개의 벤치마크 함수를 체계적으로 분류하여 알고리즘 선택을 향상시키기 위해.
• 공개 문헌에서 가장 흔히 사용되는 25개의 벤치마크 함수를 특정하여 연구자들이 사용할 수 있는 표준 참고 자료를 확립하기 위해.
• 차세대 최적화 알고리즘 평가를 위해 고차원, 동적, 도전적인 특성을 지닌 두 개의 새로운 시험 함수를 제안하기 위해.
• 현재의 벤치마킹 관행에 존재하는 한계를 밝히고, 보다 강력한 알고리즘 평가를 위한 향후 연구 방향을 제안하기 위해.

제안 방법

• 수학적 수식, 시각적 특징, 복잡도, 영역 관련성 기반으로 315개의 벤치마크 및 시험 함수에 대한 체계적 조사 및 분류.
• 단일 최적, 다중 최적, 분리 가능, 비분리 가능, 스케일 가능, 고정 차원 특성 등의 특성에 따라 함수를 분류.
• 각 함수의 경사 및 탐색 공간 복잡도를 시각적으로 설명하기 위해 2차원 및 3차원 도표를 사용한 표현.
• 공개 문헌에서의 벤치마크 함수 사용 빈도 분석을 통해 가장 널리 사용되는 25개의 함수를 특정.
• 현대 최적화 알고리즘을 더욱 도전적으로 테스트하기 위해 고차원, 동적 이동, 높은 복잡도를 지닌 두 개의 새로운 벤치마크 함수를 설계하고 공식화.
• 표준화 부족 및 실제 문제 특성의 충분한 반영 부족 등 현재의 벤치마킹 관행에서의 격차를 규명.

실험 결과

연구 질문

• RQ1 문헌에서 가장 자주 사용되는 벤치마크 함수는 무엇이며, 어떤 성질이 알고리즘 평가에서 그들의 우세함을 결정짓는가?
• RQ2 벤치마크 함수의 수학적 및 시각적 특성이 최적화 알고리즘 성능 평가에 어떻게 영향을 미치는가?
• RQ3 메타휴리스틱 및 기계학습 최적화 알고리즘 평가에서 현재의 벤치마킹 관행의 한계는 무엇인가?
• RQ4 실제 최적화 문제의 복잡성을 더 잘 반영하기 위해 새로운 벤치마크 함수는 어떻게 설계할 수 있는가?
• RQ5 특정 알고리즘 과제에 적합한 벤치마크 함수를 선택하기 위한 기준은 무엇이어야 하는가?

주요 결과

• 문헌에서 가장 흔히 사용되는 25개의 벤치마크 함수가 특정되어 있으며, 이는 알고리즘 평가의 표준 참고 자료로 기능한다.
• 많은 벤치마크 함수들이 자세한 수학적 및 시각적 기술을 갖추지 못해 알고리즘 개발 및 비교에 있어 심각한 지식 격차를 초래하고 있다.
• 이 리뷰는 현재의 벤치마크가 고차원, 동적, 복잡한 실제 문제를 충분히 반영하지 못하고 있음을 드러낸다.
• 고차원, 동적, 도전적인 특성을 지닌 두 개의 새로운 벤치마크 함수가 제안되어 현대 최적화 알고리즘의 테스트 강도를 향상시켰다.
• 연구는 표준화되고 다양하며 현실적인 벤치마크 세트의 긴급한 필요성을 강조하며, 최적화 알고리즘의 공정하고 의미 있는 평가를 보장한다.
• 315개의 벤치마크 함수의 시각적 및 수학적 기술이 종합적으로 정리되어 메타휴리스틱 및 기계학습 최적화 분야의 연구자들에게 포괄적인 자원을 제공한다.