[论文解读] Derivative-free Efficient Global Optimization on High-dimensional Simplex.

Priyam Das|arXiv (Cornell University)|Apr 28, 2016

Advanced Optimization Algorithms Research参考文献 34被引用 3

一句话总结

本文提出一种无需导数、确定性、贪心的全局优化算法，用于高维单纯形参数空间的优化。该算法在每次迭代中沿独立方向采用可变步长跳跃，实现高效的并行化，其计算复杂度随维度线性增长，相较于遗传算法在基准单纯形问题上实现20–300倍的速度提升，且解的精度更高。

ABSTRACT

In this paper, we develop a novel derivative-free deterministic greedy algorithm for global optimization of any objective function of parameters belonging to a unit-simplex. Main principle of the proposed algorithm is making jumps of varying step-sizes within the simplex parameter space and searching for the best direction to move in a greedy manner. Unlike most of the other existing methods of constraint optimization, here the objective function is evaluated at independent directions within an iteration. Thus incorporation of parallel computing makes it even faster. Requirement of parallelization grows only in the order of the dimension of the parameter space, which makes it more convenient for solving high-dimensional optimization problems in simplex parameter space using parallel computing. A comparative study of the performances of this algorithm and other existing algorithms have been shown for some moderate and high-dimensional optimization problems along with some transformed benchmark test-functions on simplex. Around 20-300 folds improvement in computation time has been achieved using the proposed algorithm over Genetic algorithm with more accurate solution.

研究动机与目标

• 解决在缺乏导数信息的情况下，高维单纯形约束下的全局优化挑战。
• 设计一种确定性、无需导数的算法，高效探索参数空间，不依赖梯度或随机方法。
• 通过使评估结构随维度线性增长，实现可扩展的并行化，提升高维问题的性能。
• 在单纯形约束优化问题中，超越遗传算法等现有启发式方法，在速度和解的精度方面均表现更优。

提出的方法

• 该算法在单纯形参数空间内，以可变步长进行贪心、确定性的跳跃，高效探索有希望的区域。
• 在每次迭代中，同时评估多个独立方向的目标准则函数，支持并行计算。
• 搜索方向的选择基于贪心准则，优先选择最有可能带来改进的方向。
• 通过将所有移动限制在单位单纯形内，确保可行性，保持参数之和恒为1。
• 步长变化实现自适应探索：早期阶段采用较大步长，接近收敛时进行精细调整。
• 该算法的并行化策略随参数空间的维度增长，而非函数评估次数，因此在高维问题中具有高效性。

实验结果

研究问题

• RQ1 无需导数、确定性的算法是否能在高维单纯形优化中实现比遗传算法等随机方法更快的收敛速度和更高的精度？
• RQ2 在并行评估独立方向的前提下，该算法的性能如何随维度增加而变化？
• RQ3 与固定步长或随机搜索策略相比，可变步长跳跃在多大程度上提升了收敛速度和解的质量？
• RQ4 该算法能否在保持单纯形约束可行性的同时，实现在高维空间中的高效并行化？

主要发现

• 在基准单纯形测试函数上，该算法相较于遗传算法实现20–300倍的计算时间提升。
• 该算法在高维设置下提供的解比遗传算法更精确。
• 并行化被高效集成，计算需求仅随参数空间维度线性增长。
• 每次迭代中对独立方向的评估使负载均衡更有效，可在并行架构上实现高吞吐量。
• 贪心、确定性的搜索方向选择策略使收敛速度优于随机或启发式方法。
• 该方法在中等至高维问题上均表现稳健，在变换后的基准函数上持续展现性能提升。