[论文解读] Combinatorial Bayesian Optimization using the Graph Cartesian Product

ChangYong Oh, Jakub M. Tomczak+2 more|arXiv (Cornell University)|Feb 1, 2019

Gaussian Processes and Bayesian Inference被引用 38

一句话总结

COMBO 引入基于高斯过程的贝叶斯优化框架，针对组合搜索空间通过建模光滑性（使用组合图和扩散核，带ARD与 Horseshoe先验以实现可扩展性和高阶交互）。

ABSTRACT

This paper focuses on Bayesian Optimization (BO) for objectives on combinatorial search spaces, including ordinal and categorical variables. Despite the abundance of potential applications of Combinatorial BO, including chipset configuration search and neural architecture search, only a handful of methods have been proposed. We introduce COMBO, a new Gaussian Process (GP) BO. COMBO quantifies "smoothness" of functions on combinatorial search spaces by utilizing a combinatorial graph. The vertex set of the combinatorial graph consists of all possible joint assignments of the variables, while edges are constructed using the graph Cartesian product of the sub-graphs that represent the individual variables. On this combinatorial graph, we propose an ARD diffusion kernel with which the GP is able to model high-order interactions between variables leading to better performance. Moreover, using the Horseshoe prior for the scale parameter in the ARD diffusion kernel results in an effective variable selection procedure, making COMBO suitable for high dimensional problems. Computationally, in COMBO the graph Cartesian product allows the Graph Fourier Transform calculation to scale linearly instead of exponentially. We validate COMBO in a wide array of realistic benchmarks, including weighted maximum satisfiability problems and neural architecture search. COMBO outperforms consistently the latest state-of-the-art while maintaining computational and statistical efficiency.

研究动机与目标

• 激发并实现对包含类别变量和序数变量的组合空间进行高效贝叶斯优化的动机与能力。
• 通过组合图和图傅里叶变换在组合空间中定义一个成分化的光滑性概念。
• 开发可扩展的高斯过程代理，具备ARD扩散核和变量选择以应对高维问题。
• 在基准测试和现实问题（如 SAT/MaxSAT、神经网络结构搜索）中实现具有竞争力的性能。

提出的方法

• 将表示每个变量的子图构造为笛卡尔积的组合图（序数变量用路径，分类变量用完全图）。
• 使用图傅里叶变换和扩散核在组合图上定义光滑性。
• 引入带有每变量缩放因子的ARD扩散核，并通过来自图笛卡尔积的Kronecker分解高效地计算核。
• 对每变量的尺度使用Horseshoe先验并进行后验采样，以实现自动变量选择。
• 使用切片采样拟合GP代理，并在图上优化获取函数（EI），利用广度优先局部搜索以提高可扩展性。
• 给出一个算法（COMBO），能够扩展到高维组合空间并利用按变量划分的稀疏性提高效率。

实验结果

研究问题

• RQ1 如何编码并利用定义在组合空间上的目标函数的光滑性？
• RQ2 基于GP的代理结合图核，是否能在组合贝叶斯优化中高效建模高阶交互？
• RQ3 带有稀疏先验的逐变量ARD扩散核是否能在高维分类/序数空间中实现可扩展的贝叶斯优化？
• RQ4 与最先进方法相比，COMBO在现实组合优化任务中的表现如何？
• RQ5 该方法是否能够在一个统一框架中处理二进制、序数和多类别变量？

主要发现

• 在二进制、序数和多类别基准及现实问题上，COMBO始终优于竞争方法。
• 图的笛卡尔积通过Kronecker乘积将其分解为按变量的分量，从而实现对图傅里叶变换和核的可扩展计算。
• 逐变量扩散尺度（β_i）提供了基于ARD的灵活性，Horseshoe先验引入稀疏性以处理高维问题。
• 在神经架构搜索和带权 MaxSAT 设置中，COMBO取得了优越的结果，运行时间相对于其他方法更具优势。
• Ising 稀疏化结果表明在交互受限时，COMBO仍具竞争力；而在更复杂任务中，全高阶交互带来更大收益。