[论文解读] Black-box Mixed-Variable Optimisation using a Surrogate Model that Satisfies Integer Constraints

Laurens Bliek, Arthur Guijt+2 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 29被引用 14

一句话总结

该论文提出了一种基于混合变量ReLU的代理建模方法（MVRSM），用于解决具有混合连续与整数变量的昂贵黑箱优化问题。通过使用固定大小的修正线性单元（ReLUs）线性组合，MVRSM确保所有局部最优解满足整数约束，避免模型随时间增长，并能捕捉变量间的交互作用——在大规模合成基准测试中达到最先进性能，在真实世界任务（如XGBoost超参数调优和静电除尘器优化）中也表现出色。

ABSTRACT

A challenging problem in both engineering and computer science is that of minimising a function for which we have no mathematical formulation available, that is expensive to evaluate, and that contains continuous and integer variables, for example in automatic algorithm configuration. Surrogate-based algorithms are very suitable for this type of problem, but most existing techniques are designed with only continuous or only discrete variables in mind. Mixed-Variable ReLU-based Surrogate Modelling (MVRSM) is a surrogate-based algorithm that uses a linear combination of rectified linear units, defined in such a way that (local) optima satisfy the integer constraints. This method outperforms the state of the art on several synthetic benchmarks with up to 238 continuous and integer variables, and achieves competitive performance on two real-life benchmarks: XGBoost hyperparameter tuning and Electrostatic Precipitator optimisation.

研究动机与目标

• 解决同时包含连续与整数变量的昂贵黑箱函数优化挑战。
• 克服现有代理方法的局限性，这些方法或随时间增长，或因舍入或离散化而无法满足整数约束。
• 开发一种能捕捉所有变量间交互作用、保持固定大小并确保局部最优解为整数可行的代理模型。
• 在无需问题特定超参数调优的情况下，实现大规模问题上的高精度与高效率。

提出的方法

• MVRSM使用基于修正线性单元（ReLUs）线性组合的代理模型，其参数化设计确保局部最优解满足整数约束。
• 模型在昂贵黑箱函数评估数据上进行训练，并通过迭代方式更新，而无需增大模型规模，从而保证计算效率。
• ReLU基函数的设计使得代理模型的任意局部最小值在离散变量上恰好位于整数值，从而无需舍入或整数规划。
• 该方法利用标准连续优化技术搜索代理模型，因为所有最优解天然满足整数可行性。
• 采用固定数量的基函数，避免了高斯过程及其他自适应代理模型中常见的模型增长问题。
• 该方法迭代执行：评估真实目标函数，更新代理模型，并优化代理模型以选择下一个评估点。

实验结果

研究问题

• RQ1 能否设计一种代理模型，在保持固定大小的同时捕捉混合整数优化中连续与整数变量之间的交互作用？
• RQ2 通过确保代理模型的所有局部最优解均满足整数约束，是否能相比舍入或离散化方法带来性能与效率的提升？
• RQ3 在包含超过100个变量的大规模合成基准测试中，MVRSM在准确率与计算时间方面如何扩展？
• RQ4 MVRSM能否在真实世界问题（如超参数调优与工程设计）中实现竞争力表现，且无需调整超参数？
• RQ5 MVRSM是否避免了贝叶斯优化算法中因代理模型增长而导致的性能下降？

主要发现

• MVRSM在大规模合成基准测试中优于最先进方法，包括Ackley53（50个二值变量，3个连续变量）和Rosenbrock238（119个整数变量，119个连续变量）问题，以更少的评估次数获得更低的目标值。
• 在Ackley53基准测试中，MVRSM在76次迭代后平均最终目标值为1.29，与HO或SMAC无显著差异（p ≈ 0.13），但显著优于CoCaBO（p ≈ 0.024）。
• 在Rosenbrock238与随机合成基准测试中，MVRSM显著优于BO、CoCaBO、HO与SMAC，且BO与CoCaBO的计算时间已变得不可行。
• MVRSM的计算时间在迭代过程中保持稳定，而BO、CoCaBO与SMAC的运行时间随代理模型增长而持续增加。
• MVRSM在真实世界问题中表现优异：XGBoost超参数调优与静电除尘器优化，且无需问题特定的超参数调优。
• 该方法展现出强鲁棒性与可扩展性，在多达238个变量的问题中保持高精度，并在大规模场景中展现出明显优势，而其他方法则出现性能下降或失败。