[论文解读] Computationally Efficient High-Dimensional Bayesian Optimization via Variable Selection

Yihang Shen, Carl Kingsford|arXiv (Cornell University)|Sep 20, 2021

Gaussian Processes and Bayesian Inference参考文献 38被引用 4

一句话总结

本文提出 VS-BO，一种计算高效的贝叶斯优化方法，用于高维黑箱函数，通过自动识别并仅在重要变量的轴对齐子空间上进行优化，无需预先指定嵌入维度。该方法在合成问题和真实世界问题（如 MOPTA08 和火星车轨迹优化）中均表现出色，相较于现有方法具有更快的收敛速度和更低的计算成本。

ABSTRACT

Bayesian Optimization (BO) is a method for globally optimizing black-box functions. While BO has been successfully applied to many scenarios, developing effective BO algorithms that scale to functions with high-dimensional domains is still a challenge. Optimizing such functions by vanilla BO is extremely time-consuming. Alternative strategies for high-dimensional BO that are based on the idea of embedding the high-dimensional space to the one with low dimension are sensitive to the choice of the embedding dimension, which needs to be pre-specified. We develop a new computationally efficient high-dimensional BO method that exploits variable selection. Our method is able to automatically learn axis-aligned sub-spaces, i.e. spaces containing selected variables, without the demand of any pre-specified hyperparameters. We theoretically analyze the computational complexity of our algorithm and derive the regret bound. We empirically show the efficacy of our method on several synthetic and real problems.

研究动机与目标

• 解决将贝叶斯优化扩展到高维黑箱函数的挑战，其中原始贝叶斯优化计算上不可行。
• 克服基于嵌入的贝叶斯优化方法的局限性，这些方法需要预设嵌入维度，并可能因投影误差而影响性能。
• 开发一种可自动识别重要变量而无需超参数调优的方法，从而降低计算复杂度。
• 确保所选子空间为轴对齐，避免基于嵌入方法中非可逆投影带来的问题。
• 对所提方法的计算效率和遗憾性能进行理论分析与实证验证。

提出的方法

• 该方法假设仅输入变量的一个子集显著影响目标函数，将输入划分为重要变量（x_ipt）和不重要变量（x_nipt）。
• 采用基于高斯过程回归的变量选择策略，通过获取函数梯度迭代识别重要变量。
• 算法仅在选定的重要变量子空间上执行贝叶斯优化，显著降低计算成本。
• 引入一种新颖的采样策略以优先进行变量选择，同时引入一种变体（VSBO mix）用于对比分析。
• 通过聚焦于轴对齐子空间，避免通过投影进行降维，确保所有查询点均位于原始输入域内。
• 理论分析表明，与原始贝叶斯优化相比，该方法在高斯过程拟合和获取函数优化方面的计算复杂度均有所降低。

实验结果

研究问题

• RQ1 在高维贝叶斯优化中，变量选择能否消除对预设嵌入维度的需求？
• RQ2 自动识别重要变量对优化效率和收敛速度有何影响？
• RQ3 轴对齐子空间优化是否在计算成本和解的质量方面优于基于嵌入的方法？
• RQ4 变量选择的准确性对优化算法的遗憾值和性能有何影响？
• RQ5 在固定迭代次数和时间预算下，VS-BO 与 SAA-SBO 和 Dragonfly 等最先进方法相比表现如何？

主要发现

• 在高维合成函数（如 Branin、Hartmann6 和 Styblinski-Tang4）上，VS-BO 的收敛速度更快，计算成本低于原始贝叶斯优化和基于嵌入的方法。
• 在 60 维的火星车轨迹优化问题上，VS-BO 在固定迭代预算下优于 Dragonfly 和其他基线方法，尽管 Dragonfly 在时间约束下表现强劲。
• 在 124 维的 MOPTA08 问题上，VS-BO 的优化性能优于基线方法，尽管 SAA-SBO 表现更优——但 SAA-SBO 的运行速度显著更慢。
• VS-BO 中的变量选择过程能正确识别最具影响力的变量，前 5 个被选中的变量在扰动时表现出显著更高的函数值方差。
• 实证结果表明，变量选择频率与变量重要性高度相关，证实了该方法学习相关子空间的能力。
• VS-BO 中的采样策略始终优于混合策略变体（VSBO mix），表明所提选择机制的有效性。