[论文解读] Black-box Optimization on Multiple Simplex Constrained Blocks

Priyam Das|arXiv (Cornell University)|Sep 8, 2016

Metaheuristic Optimization Algorithms Research参考文献 14被引用 3

一句话总结

本文提出 Multi-Block GCDVSS，一种针对参数被约束在多个大小不一单纯形块上的目标函数的高效黑箱优化算法。通过在每个单纯形块内实现同时且自适应的步长更新，该方法相比遗传算法实现高达 7 倍的收敛速度提升，同时仅需与维度呈线性增长的并行化开销，在高维场景下显著提升了计算效率。

ABSTRACT

Black-box optimization of objective function of parameters belonging to simplex arises in many inference and predictive models. Das (2016) introduced Greedy Co-ordinate Descent of Varying Step-sizes on Simplex (GCDVSS) which efficiently optimizes any black-box function whose parameters belong to a simplex. In this paper, that method has been modified and extended for the case where the set of parameters may belong to multiple simplex block of different sizes. The main principle of this algorithm is to make jumps of varying step-sizes within each simplexes simultaneously and searching for the best direction for movement. Since this algorithm is designed specially for multiple simplex blocks parameter space, the proportion of movements made within the parameter space during the update step of a iteration is relatively higher for the proposed algorithm. Starting from a single initial guess, unlike genetic algorithm or simulated annealing, requirement of parallelization for this algorithm grows linearly with the dimension of the parameter space which makes it more efficient for higher dimensional optimization problems. Comparative studies with some existing algorithms have been provided based on modified well-known benchmark functions. Upto 7 folds of improvement in computation time has been noted for using the proposed algorithm over Genetic algorithm, yielding significantly better solution in all the cases considered.

研究动机与目标

• 解决高维参数空间中参数被约束为多个不同大小单纯形块时的高效优化需求。
• 克服现有元启发式方法（如遗传算法和模拟退火）在维度增加时扩展性差、并行化需求过高的局限。
• 通过在每个单纯形块内采用分块自适应步长更新策略，提升每次迭代中有效参数空间探索的比例。
• 实现推理与预测建模中常见单纯形约束下黑箱函数的高效优化。
• 在基准测试中，相比最先进方法，提升计算效率与解的质量。

提出的方法

• 将贪婪坐标下降带可变步长（GCDVSS）算法扩展至处理多个单纯形块，而非单一单纯形。
• 在每次迭代中，对每个独立的单纯形块同时执行自适应步长更新，以高效探索参数空间。
• 基于函数评估反馈，采用贪心策略选择每个单纯形块内的最优移动方向。
• 通过确保所有参数更新均保持在其对应单纯形约束范围内，维持可行性。
• 仅使用单个初始猜测，避免基于种群的搜索，从而降低内存与并行化开销。
• 并行化规模与参数空间总维度呈线性增长，而不同于基于种群的方法所呈现的二次或更差的扩展性。

实验结果

研究问题

• RQ1 GCDVSS 能否被有效扩展以处理多个大小不一的单纯形块，同时保持其效率与收敛特性？
• RQ2 在具有约束的黑箱优化问题上，所提出的 Multi-Block GCDVSS 算法与遗传算法等成熟元启发式算法相比，在收敛速度与解质量方面表现如何？
• RQ3 与基于种群的方法相比，该算法的线性并行化扩展特性在高维参数空间中能多大程度上提升可扩展性？
• RQ4 分块自适应步长策略是否能带来比回顾方法更高的每次迭代中有效参数空间探索比例？
• RQ5 在具有单纯形约束的基准函数上，该算法能否在不牺牲解质量的前提下实现显著的计算时间优化？

主要发现

• 所提出的 Multi-Block GCDVSS 算法在所有测试基准函数上，与遗传算法相比，计算时间最高可提升 7 倍。
• 在所有测试案例中，该算法始终提供优于遗传算法的解质量，展现出更优的收敛性能。
• 并行化需求随参数空间维度线性增长，使该方法相比基于种群的替代方案具有显著更高的可扩展性。
• 由于采用分块自适应步长选择，每次更新步骤中在参数空间内的有效移动比例显著高于传统元启发式方法。
• 该方法在高维场景下仍能保持可行性与高效性，在速度与解精度方面均优于现有方法。
• 在修改后的基准函数上的实证结果证实，该算法在多种具有多个单纯形块的问题配置下均表现出鲁棒性与高效性。