[论文解读] GENDIRECT: a GENeralized DIRECT-type algorithmic framework for derivative-free global optimization

Linas Stripinis, Remigijus Paulavičius|arXiv (Cornell University)|Sep 2, 2023

Advanced Optimization Algorithms ResearchMathematics被引用 3

一句话总结

本文提出 GENDIRECT，一种广义的算法框架，通过支持算法组件的灵活组合，统一并扩展了 DIRECT 类型的无导数全局优化方法。通过使用 GENDIRECT 重新配置五个现有算法，研究展示了显著的性能提升，在各类基准问题上均表现出更高的效率与鲁棒性，在超过 80% 的测试案例中实现了统计上显著的改进。

ABSTRACT

Over the past three decades, numerous articles have been published discussing the renowned DIRECT algorithm (DIvididing RECTangles). These articles present innovative ideas to enhance its performance and adapt it to various types of optimization problems. A comprehensive collection of deterministic, derivative-free algorithmic implementations based on the DIRECT framework has recently been introduced as part of the DIRECTGO project. DIRECTGO empowers users to conveniently employ diverse DIRECT-type algorithms, enabling efficient solutions to practical optimization problems. Despite their variations, DIRECT-type algorithms share a common algorithmic structure and typically differ only at certain steps. Therefore, we propose GENDIRECT -- GENeralized DIRECT-type framework that encompasses and unifies DIRECT-type algorithms into a single, generalized framework within this paper. GENDIRECT offers a practical alternative to the creation of yet another ``new'' DIRECT-type algorithm that closely resembles existing ones. Instead, GENDIRECT allows the efficient generation of known or novel DIRECT-type optimization algorithms by assembling different algorithmic components. This approach provides considerably more flexibility compared to both the DIRECTGO toolbox and individual DIRECT-type algorithms. A few hundred thousand DIRECT-type algorithms can be combined using GENDIRECT, facilitating users' easy customization and the addition of new algorithmic components. By modifying specific components of five highly promising DIRECT-type algorithms found in the existing literature using GENDIRECT, the significant potential of GENDIRECT has been demonstrated. The resulting newly developed improved approaches exhibit greater efficiency and enhanced robustness in dealing with problems of varying complexity.

研究动机与目标

• 为解决大量相似但不同的 DIRECT 类算法的泛滥问题，通过单一可扩展的框架统一其设计。
• 通过支持现有或新型算法的快速模块化构建，减少从零开始开发新算法的需求。
• 提升无导数全局优化方法在高成本函数评估的黑箱问题中的效率与鲁棒性。
• 促进对算法组件组合的系统性探索，以实现最优性能。

提出的方法

• GENDIRECT 将 DIRECT 类算法形式化为可互换的算法组件的组合，例如划分规则、采样策略和选择标准。
• 该框架通过组件的组合可生成约 500,000 种独特的算法配置。
• 通过将 DIRECT 的核心结构抽象为模块化函数，实现了对关键步骤的动态重新配置。
• 该框架在 MATLAB 中实现，并与 DIRECTGOLib v2.0 集成用于基准测试。
• 通过修改五个高性能现有算法中的特定组件（如划分、采样）来生成算法改进。
• 性能通过统计检验（Wilcoxon 符号秩检验）和 Friedman 平均秩分析在 20 个测试问题和四种评估预算下进行评估。

实验结果

研究问题

• RQ1 能否设计一种广义框架，以统一并扩展现有 DIRECT 类算法的多样性？
• RQ2 通过重新配置算法组件而非从零开始设计新算法，能在多大程度上实现性能提升？
• RQ3 在不同问题类别和评估预算下，哪些算法组件组合能实现最鲁棒和高效的性能？
• RQ4 在不同函数评估预算水平下，改进后的算法与原始版本在统计上相比如何？

主要发现

• 改进后的 1-DTC-GL 算法在 Mmax = n×104 时达到平均秩 4.6128，显著优于原始版本（平均秩 5.3375），在 Mmax = n×103 时 p 值为 2.4241×10−8。
• 改进后的 HALRECT-IA 版本在 Mmax = n×104 时达到平均秩 5.5229，显著优于原始版本（平均秩 7.1372），p 值为 5.3640×10−10。
• 改进后的 MrDIRECT 算法在 Mmax = n×104 时达到平均秩 5.2500，显著优于原始版本（平均秩 6.8099），p 值为 4.5374×10−40。
• 改进后的 BIRMIN 算法在所有预算下均表现出一致的统计优势，在 Mmax = n×105 时 p 值低于 1.5552×10−15。
• 改进后的 DIRMIN 算法在 Mmax = n×104 时达到平均秩 5.2886，显著优于原始版本（平均秩 5.3084），p 值为 8.2874×10−3。
• 总体而言，80% 的改进算法表现出统计上显著的性能提升，尤其在更高的评估预算下（Mmax ≥ n×104）表现突出。