[论文解读] Framework and Benchmarks for Combinatorial and Mixed-variable Bayesian Optimization

Kamil Dreczkowski, Antoine Grosnit+1 more|arXiv (Cornell University)|Jun 16, 2023

Advanced Multi-Objective Optimization Algorithms被引用 6

一句话总结

本文提出了一种模块化的混合变量与组合优化贝叶斯优化（MCBO）框架，通过将代理模型、获取函数和获取优化器解耦为可互换的组件，实现了系统的基准测试。作者实现了47种新型MCBO算法，并通过4,000多次实验表明，性能更优的组件组合——尤其是结合信赖域优化和拟合良好的模型——优于现有方法，凸显了模型拟合度与信赖域使用的重要性。

ABSTRACT

This paper introduces a modular framework for Mixed-variable and Combinatorial Bayesian Optimization (MCBO) to address the lack of systematic benchmarking and standardized evaluation in the field. Current MCBO papers often introduce non-diverse or non-standard benchmarks to evaluate their methods, impeding the proper assessment of different MCBO primitives and their combinations. Additionally, papers introducing a solution for a single MCBO primitive often omit benchmarking against baselines that utilize the same methods for the remaining primitives. This omission is primarily due to the significant implementation overhead involved, resulting in a lack of controlled assessments and an inability to showcase the merits of a contribution effectively. To overcome these challenges, our proposed framework enables an effortless combination of Bayesian Optimization components, and provides a diverse set of synthetic and real-world benchmarking tasks. Leveraging this flexibility, we implement 47 novel MCBO algorithms and benchmark them against seven existing MCBO solvers and five standard black-box optimization algorithms on ten tasks, conducting over 4000 experiments. Our findings reveal a superior combination of MCBO primitives outperforming existing approaches and illustrate the significance of model fit and the use of a trust region. We make our MCBO library available under the MIT license at \url{https://github.com/huawei-noah/HEBO/tree/master/MCBO}.

研究动机与目标

• 为解决MCBO研究中缺乏标准化、多样化基准的问题，该问题阻碍了新方法的公平比较。
• 降低组合MCBO组件的实现开销，支持新算法组合的快速原型设计与评估。
• 通过在10项任务上系统评估47种新算法与12种基线方法，开展MCBO基元的全面实证研究。
• 识别在混合变量与组合优化中，代理模型、获取函数与获取优化器的最佳组合。
• 发布一个完全开源、采用MIT许可证的MCBO库，以加速可复现性与未来研究。

提出的方法

• 该框架将MCBO模块化为三个核心组件：代理模型、获取函数与获取优化器，通过单行代码接口支持任意组合。
• 支持多种代理模型，包括使用不同核函数（如SSK、HED、Diff.）的高斯过程、线性回归以及模型无关方法。
• 获取优化器包括信赖域约束方法，如爬山法、梯度下降、模拟退火、遗传算法以及基于MAB的策略。
• 该框架原生支持信赖域优化，根据成功/失败历史动态调整组合与连续变量的半径。
• 通过Kriging Believer策略支持批量获取采样，通过虚构先前评估结果以提升顺序批量选择性能。
• 系统包含输入归一化、输出标准化，并通过拒绝采样支持输入约束，提升鲁棒性与实际应用能力。

实验结果

研究问题

• RQ1 在混合变量与组合贝叶斯优化中，哪种代理模型、获取函数与获取优化器的组合能实现最佳性能？
• RQ2 与无约束或非自适应优化策略相比，基于信赖域的获取优化在收敛速度与解质量方面表现如何？
• RQ3 模型拟合度——通过核函数选择与代理模型质量衡量——在多大程度上影响整体优化性能？
• RQ4 不同获取函数优化器（如梯度下降与遗传算法）在多样化的合成与真实世界基准上表现如何？
• RQ5 标准化、模块化的框架是否能显著降低实现开销，并推动更系统化、可复现的MCBO研究？

主要发现

• 使用字符串子序列核（SSK）的高斯过程与信赖域约束的梯度下降组合，在基准测试中优于所有其他配置。
• 信赖域的使用显著提升了收敛速度与鲁棒性，尤其在高维与非光滑搜索空间中表现突出。
• 模型拟合度是性能的关键决定因素：能更好捕捉目标函数结构的核函数可实现更快收敛与更高解质量。
• 该框架支持47种新型MCBO算法的实现与评估，证明了系统化组件组合的可行性与价值。
• 所提框架将算法组合的实现开销降低至单行代码，支持快速原型设计与可复现性。
• 开源MCBO库已以MIT许可证发布，为未来研究与工业应用提供了可复用的基础。