[论文解读] Bayesian Optimization over Hybrid Spaces

Aryan Deshwal, Syrine Belakaria+1 more|arXiv (Cornell University)|Jun 8, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 44被引用 4

一句话总结

本文提出 HyBO，一种新颖的贝叶斯优化框架，用于处理混合空间（结合离散与连续变量）的优化，采用加法扩散核来建模复杂交互关系。该方法证明了该核的通用逼近性质，并在合成数据与真实世界基准测试中（包括材料设计与超参数优化）均展现出优于最先进方法的性能。

ABSTRACT

We consider the problem of optimizing hybrid structures (mixture of discrete and continuous input variables) via expensive black-box function evaluations. This problem arises in many real-world applications. For example, in materials design optimization via lab experiments, discrete and continuous variables correspond to the presence/absence of primitive elements and their relative concentrations respectively. The key challenge is to accurately model the complex interactions between discrete and continuous variables. In this paper, we propose a novel approach referred as Hybrid Bayesian Optimization (HyBO) by utilizing diffusion kernels, which are naturally defined over continuous and discrete variables. We develop a principled approach for constructing diffusion kernels over hybrid spaces by utilizing the additive kernel formulation, which allows additive interactions of all orders in a tractable manner. We theoretically analyze the modeling strength of additive hybrid kernels and prove that it has the universal approximation property. Our experiments on synthetic and six diverse real-world benchmarks show that HyBO significantly outperforms the state-of-the-art methods.

研究动机与目标

• 解决在结合离散与连续变量的混合输入空间中优化昂贵黑箱函数的挑战。
• 开发一种基于核函数的系统性代理建模方法，以捕捉离散与连续变量之间的复杂交互关系。
• 为混合核的建模能力（特别是通用逼近性质）建立理论保证。
• 通过实证验证所提方法在多样化真实世界与合成优化任务中的优越性。

提出的方法

• 提出混合贝叶斯优化（HyBO），一种在混合输入空间上使用高斯过程与加法扩散核的贝叶斯优化框架。
• 通过在所有交互阶次上采用加法形式，将离散与连续变量的基底扩散核组合成混合核。
• 采用系统性的核构造方法，实现对混合变量交互关系的可计算建模，同时保持可解释性。
• 结合连续变量扩散核的已知结果与离散变量扩散核的新结果，证明加法混合核的通用逼近性质。
• 采用一种采集函数优化程序（AFO）以处理约束条件，并确保在混合空间中的有效搜索。
• 将该框架应用于真实世界问题，如材料设计、机器人控制与超参数调优，并通过实证评估进行验证。

实验结果

研究问题

• RQ1 基于核函数的代理模型能否有效捕捉混合优化中离散与连续变量之间的复杂交互？
• RQ2 所提出的加法混合扩散核是否具备对混合空间上函数的通用逼近性质？
• RQ3 在混合优化问题中，HyBO 相较于最先进方法在收敛速度与最终目标值方面表现如何？
• RQ4 与非加法或非基于扩散核的替代方案相比，加法核结构在多大程度上提升了模型精度与优化性能？

主要发现

• 在六个多样化的现实世界基准测试中，HyBO 显著优于最先进方法，涵盖材料设计、机器人控制与超参数优化。
• 在合成基准测试中，HyBO 在合成函数1上的平均函数值为79.7，优于第二好的方法（G-M et al.）的99.4，实现20%的性能提升。
• 对于合成函数2，HyBO 在200次迭代后达到394.6，优于第二好的方法（420），性能提升6%。
• 消融研究显示，不使用边际化的 HyBO 表现几乎与完整 HyBO 相当，证实了加法混合扩散核的强大性能。
• Cont-BO（将所有变量视为连续）的表现劣于所有其他方法，凸显了显式建模混合结构的必要性。