[论文解读] Bayesian Optimisation over Multiple Continuous and Categorical Inputs

Binxin Ru, Ahsan Alvi+3 more|arXiv (Cornell University)|Jun 20, 2019

Advanced Bandit Algorithms Research参考文献 27被引用 13

一句话总结

本文提出连续与分类贝叶斯优化（CoCaBO），一种新颖方法，结合多臂赌博机与高斯过程回归，以高效优化具有混合连续与分类输入的黑箱函数。通过引入一种新型核函数，实现在无需独热编码的情况下跨类别共享信息，CoCaBO 在合成与真实世界任务中均展现出优于现有方法的样本效率与性能，尤其在多个分类变量场景下表现突出。

ABSTRACT

Efficient optimisation of black-box problems that comprise both continuous and categorical inputs is important, yet poses significant challenges. We propose a new approach, Continuous and Categorical Bayesian Optimisation (CoCaBO), which combines the strengths of multi-armed bandits and Bayesian optimisation to select values for both categorical and continuous inputs. We model this mixed-type space using a Gaussian Process kernel, designed to allow sharing of information across multiple categorical variables, each with multiple possible values; this allows CoCaBO to leverage all available data efficiently. We extend our method to the batch setting and propose an efficient selection procedure that dynamically balances exploration and exploitation whilst encouraging batch diversity. We demonstrate empirically that our method outperforms existing approaches on both synthetic and real-world optimisation tasks with continuous and categorical inputs.

研究动机与目标

• 解决在同时包含连续与分类输入的函数上进行贝叶斯优化的挑战，因现有方法在维度或样本效率方面存在困难。
• 克服独热编码的局限性，避免输入空间膨胀，并提升在多个分类变量下的可扩展性。
• 开发一种统一的、样本高效的代理模型，无需对每种类别单独建模，即可捕捉两类输入之间的交互作用。
• 将方法扩展至批量设置，实现并行评估，同时保持探索与利用的平衡及多样性。
• 在包含多个具有大量取值的分类变量的真实世界与合成基准上，展示卓越性能。

提出的方法

• 提出 CoCaBO，一种混合框架，结合多臂赌博机用于分类选择，以及基于高斯过程的贝叶斯优化用于连续变量。
• 引入一种新型核函数，结合求和与乘积结构，以建模连续与分类输入之间的交互作用，实现跨类别的信息共享。
• 采用核分解方法，通过将分类变量视为具有结构化协方差的离散输入，避免独热编码，提升数据效率。
• 采用动态采集函数，在混合输入空间中平衡探索与利用，结合多样性导向的批量选择策略。
• 应用混合核函数：由仅连续核的和项与建模跨类型交互作用的乘积核组成，所有超参数均可学习。
• 通过同时选择多个点，将方法扩展至批量设置，采用兼顾多样性的选择策略，维持探索能力。

实验结果

研究问题

• RQ1 是否能够设计一种统一的贝叶斯优化框架，在无需独热编码的情况下有效处理混合连续与分类输入？
• RQ2 如何高效地在不同分类取值之间共享信息，以提升高维分类空间中的样本效率？
• RQ3 基于核的方法是否能在预测准确率与优化收敛性方面优于层次化或独热编码模型？
• RQ4 该方法在分类变量与类别数量增加时的可扩展性如何？
• RQ5 批量版本的方法是否能在支持并行评估与所选点多样性的前提下保持性能？

主要发现

• 使用所提核函数的 CoCaBO 在预测样本外对数似然方面显著优于独热编码的高斯过程模型，尤其在分类输入数量增加时优势更明显。
• 在顺序设置下，CoCaBO-0.5 与 CoCaBO-auto 在所有合成与真实世界问题上均优于对比方法，包括 NAS-CIFAR10 与高复杂度分类的 Ackley-5C 问题。
• 在具有大量分类组合的问题中（如 Ackley-5C 的 17^5 种组合），CoCaBO 持续优于 EXP3BO，后者因需构建过多代理模型而失效。
• TPE 仅在分类组合数量较少时表现良好（如 15 或 16 种），但在大规模问题（如 NAS-CIFAR10 的 243 种组合）中性能显著下降，而 CoCaBO 表现优异。
• 在批量设置下（b=4），CoCaBO-0.5 与 CoCaBO-auto 再次取得最佳性能；CoCaBO-1.0（仅使用乘积核）在类别选择较少的问题中表现具有竞争力，因数据重叠增加而受益。
• 推荐默认设置为 λ=0.5 或 λ=auto，因混合核结构在混合类型输入空间中提供了最佳的表达能力与泛化能力平衡。