[论文解读] Increasing the Scope as You Learn: Adaptive Bayesian Optimization in Nested Subspaces
BAxUS 引入使用嵌套随机子空间的自适应贝叶斯优化，以随时间扩展搜索空间，具备理论保障并在高维任务上展现出色的经验性能。
Recent advances have extended the scope of Bayesian optimization (BO) to expensive-to-evaluate black-box functions with dozens of dimensions, aspiring to unlock impactful applications, for example, in the life sciences, neural architecture search, and robotics. However, a closer examination reveals that the state-of-the-art methods for high-dimensional Bayesian optimization (HDBO) suffer from degrading performance as the number of dimensions increases or even risk failure if certain unverifiable assumptions are not met. This paper proposes BAxUS that leverages a novel family of nested random subspaces to adapt the space it optimizes over to the problem. This ensures high performance while removing the risk of failure, which we assert via theoretical guarantees. A comprehensive evaluation demonstrates that BAxUS achieves better results than the state-of-the-art methods for a broad set of applications.
研究动机与目标
- 动机：在数百维度上实现可扩展的贝叶斯优化的必要性。
- 提出 BAxUS，在保留过去观测的同时自适应扩展搜索子空间。
- 提供关于嵌入成功与收敛的理论保证。
- 在多种基准测试中证明相较于最先进的高维贝叶斯优化方法具有经验上的优越性。
提出的方法
- 介绍 BAxUS，这是一个贝叶斯优化框架，使用嵌套随机子空间嵌入来逐步增加目标空间的维数。
- 使用稀疏嵌入矩阵 S^T 将低维目标空间映射到 D 维输入空间，以实现高效优化。
- 采用信任域方法（受 TuRBO 启发）结合 Thompson 采样，在不断演化的区域内选择评估点，根据观测进展调整信任域大小。
- 提供一种分裂策略，随着目标空间扩展通过将输入维度分组为均衡贡献组来增加维数。
- 证明 BAxUS 的全局收敛性，并将最坏情况嵌入成功率与现有嵌入（如 HeSBO）进行比较。
- 定义并使用数据驱动的计划，在连续的目标维数之间分配评估预算。
实验结果
研究问题
- RQ1BAxUS 能否在随时间增加目标维数的同时可靠地包含全局最优解？
- RQ2在实际问题维度上，BAxUS 嵌入是否在最坏情况下的成功概率优于以往的稀疏嵌入（如 HeSBO）？
- RQ3相较于最先进的 BO 方法，自适应子空间扩展在高维、带噪声以及主动子空间基准测试中的性能表现如何？
主要发现
- 与最先进方法相比，BAxUS 在广泛的高维任务上取得了卓越表现。
- BAxUS 嵌入为包含全局最优解提供的最坏情况保证比 HeSBO 更大，并且在稀疏嵌入中是最优的。
- 随着输入维度增大，BAxUS 包含最优解的概率收敛到与 HeSBO 相同，且在有限 D 时 BAxUS 仍然具有鲁棒性。
- 实验结果表明，BAxUS 在具有主动子空间的基准测试中优于对手，且对观测噪声保持鲁棒。
- 消融研究表明，嵌套的 BAxUS 嵌入组件对相较于可比的嵌套 HeSBO 嵌入的提升具有显著贡献。
- BAxUS 在多次运行和多样化任务设定中显示出强一致性。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。