[论文解读] High-Dimensional Bayesian Optimization with Sparse Axis-Aligned Subspaces

David Eriksson, Martin Jankowiak|arXiv (Cornell University)|Feb 27, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 30被引用 41

一句话总结

SAASBO 在 GP 的长度尺度上引入稀疏性先验，以识别稀疏的轴对齐子空间，使得在数百维度上使用 NUTS 推断实现样本高效的贝叶斯优化。在合成和现实世界问题上其性能优于基线，且不需要针对具体问题的超参数。

ABSTRACT

Bayesian optimization (BO) is a powerful paradigm for efficient optimization of black-box objective functions. High-dimensional BO presents a particular challenge, in part because the curse of dimensionality makes it difficult to define -- as well as do inference over -- a suitable class of surrogate models. We argue that Gaussian process surrogate models defined on sparse axis-aligned subspaces offer an attractive compromise between flexibility and parsimony. We demonstrate that our approach, which relies on Hamiltonian Monte Carlo for inference, can rapidly identify sparse subspaces relevant to modeling the unknown objective function, enabling sample-efficient high-dimensional BO. In an extensive suite of experiments comparing to existing methods for high-dimensional BO we demonstrate that our algorithm, Sparse Axis-Aligned Subspace BO (SAASBO), achieves excellent performance on several synthetic and real-world problems without the need to set problem-specific hyperparameters.

研究动机与目标

• 在高维设置中有限评估的情况下，证明高效贝叶斯优化的必要性。
• 提出在 GP 核长尺度上引入稀疏性先验（SAAS），以识别相关子空间。
• 开发一个推断框架（NUTS 和 MAP），以拟合 SAAS-GP 代理。
• 使用 EI 指导采集并展示跨数据集的鲁棒性和可扩展性。
• 展示 SAASBO 在没有针对具体问题的超参数的情况下实现强性能。

提出的方法

• 定义一个带有 SAAS 先验的高斯过程代理，该先验在逆平方长度缩放中诱导稀疏性，以偏好轴对齐子空间。
• 在收集数据时通过在收缩参数和长度尺度上的 Half-Cauchy 先验，来自适应地开启/关闭维度。
• 使用 No-U-Turn Sampler (NUTS) 对核超参数进行采样，或使用 MAP 作为更快的替代方案。
• 通过对后验核样本的期望改进（EI）来计算采集，处理超参数不确定性。
• 使用基于梯度的方法对 EI（对样本进行平均后）进行优化，以在完整输入空间中选择下一个查询点。

实验结果

研究问题

• RQ1 SAAS 先验是否能识别一个稀疏、轴对齐的子空间，捕捉高维中大部分的函数变化？
• RQ2 通过 NUTS 对核超参数进行积分是否能改进采集决策和优化性能，相较于 MAP？
• RQ3 与当下高维 BO 基线在合成和现实世界问题上的表现相比，SAASBO 的表现如何？
• RQ4 SAASBO 对超参数设置是否鲁棒，并且是否能扩展到数百维的问题？

主要发现

• 与最大似然估计（MLE）或弱先验的 GP 相比，SAASBO 能可靠地识别相关子空间并在高维中实现更优的模型拟合。
• 基于 NUTS 的推断在识别真实子空间方面优于 MAP，并带来更好的优化性能。
• SAASBO 在合成基准和现实世界问题上表现出强健的经验性能，维度高达数百维且无需针对具体问题的超参数。
• 有效子空间维数在优化过程中自适应增长，使数据积累后建模变得越来越灵活。
• SAAS 先验提供自适应的简约性，在不相关维度关闭的同时，随着证据的积累让重要维度发挥作用。