[论文解读] High Dimensional Bayesian Optimization Using Dropout

Cheng Li, Sunil Gupta+4 more|arXiv (Cornell University)|Feb 15, 2018

Machine Learning and Data Classification被引用 13

一句话总结

本文提出一种基于丢弃法的高维贝叶斯优化方法，通过顺序地仅优化变量子集来降低计算成本，同时保持遗憾界。该方法在基准函数和真实世界任务（如级联分类器训练与合金成分优化）中均取得了最先进性能。

ABSTRACT

Scaling Bayesian optimization to high dimensions is challenging task as the global optimization of high-dimensional acquisition function can be expensive and often infeasible. Existing methods depend either on limited active variables or the additive form of the objective function. We propose a new method for high-dimensional Bayesian optimization, that uses a dropout strategy to optimize only a subset of variables at each iteration. We derive theoretical bounds for the regret and show how it can inform the derivation of our algorithm. We demonstrate the efficacy of our algorithms for optimization on two benchmark functions and two real-world applications- training cascade classifiers and optimizing alloy composition.

研究动机与目标

• 解决将贝叶斯优化扩展至高维问题的挑战，其中全维空间的获取函数优化在计算上不可行。
• 克服现有方法依赖于主动子空间假设或目标函数的可加结构的局限性。
• 提出一种实用且理论基础坚实的高维优化方法，通过丢弃法实现随机变量选择。
• 在实现高维空间中高效计算的同时，确保遗憾性能的理论保证。
• 在合成基准和机器学习与材料科学等真实世界应用中，证明方法的有效性。

提出的方法

• 在优化层面应用丢弃法，即在每次获取函数优化步骤中随机屏蔽（丢弃）一部分变量。
• 在每次迭代中仅对剩余的活跃变量优化获取函数，从而降低维度和计算成本。
• 使用概率模型（例如高斯过程）建模目标函数，并通过丢弃机制传播不确定性。
• 推导出依赖于每次迭代中活跃变量数量和总体维度的理论遗憾界，证明其可扩展性。
• 将丢弃策略集成到期望改进（EI）或其他获取函数中，实现高效的顺序优化。
• 根据目标函数的估计复杂度或曲率动态调整丢弃率，以平衡探索与利用。

实验结果

研究问题

• RQ1 基于丢弃法的变量选择策略是否能在高维空间中实现可扩展的性能？
• RQ2 所提方法的遗憾性能如何随维度数量和每次迭代的活跃变量数而变化？
• RQ3 该方法是否在高维优化任务中优于假设可加结构或有限活跃变量的现有方法？
• RQ4 该方法是否能有效应用于具有复杂非可加目标函数的真实世界问题？
• RQ5 改变丢弃率对收敛速度和优化精度有何影响？

主要发现

• 所提出的基于丢弃法的贝叶斯优化方法在高维基准函数上表现出比基线方法更低的遗憾，即使在不假设可加结构的情况下亦成立。
• 在真实世界任务中，包括级联分类器训练和合金成分优化，该方法展现出更优的收敛速度和最终目标值。
• 理论分析表明，遗憾界随迭代次数呈次线性增长，并依赖于活跃变量数量，支持其可扩展性。
• 实验结果证实，即使维度超过100，该方法仍保持有效性，优于标准贝叶斯优化及其他高维基线方法。
• 通过每次迭代聚焦于一小部分随机选择的变量，丢弃法实现了高效的优化，显著降低了计算开销。
• 与依赖结构假设的方法不同，该算法在多种问题类型（包括非可分和非线性目标）中均保持稳健性能。