[论文解读] Bayesian Optimization with Unknown Search Space

Huong Ha, Santu Rana+4 more|arXiv (Cornell University)|Oct 29, 2019

Advanced Bandit Algorithms Research被引用 25

一句话总结

本文提出了一种无需参数的贝叶斯优化方法，适用于未知搜索空间，能够通过动态扩展搜索区域，在有限次迭代内保证 $ε$-精度。通过使用 GP-UCB 获取函数来引导最小化、自适应的扩展，该方法在基准函数和机器学习超参数调优任务中表现优于现有最先进方法，且评估次数更少。

ABSTRACT

Applying Bayesian optimization in problems wherein the search space is unknown is challenging. To address this problem, we propose a systematic volume expansion strategy for the Bayesian optimization. We devise a strategy to guarantee that in iterative expansions of the search space, our method can find a point whose function value within epsilon of the objective function maximum. Without the need to specify any parameters, our algorithm automatically triggers a minimal expansion required iteratively. We derive analytic expressions for when to trigger the expansion and by how much to expand. We also provide theoretical analysis to show that our method achieves epsilon-accuracy after a finite number of iterations. We demonstrate our method on both benchmark test functions and machine learning hyper-parameter tuning tasks and demonstrate that our method outperforms baselines.

研究动机与目标

• 解决当搜索空间未知且无先验边界时贝叶斯优化所面临的挑战。
• 消除对用户指定参数（如扩展频率、增长率或正则化常数）的需求。
• 保证算法在有限次迭代后达到 $ε$-精度——即找到距离全局最优值在 $ε$ 以内的点。
• 开发一种系统性策略，仅在必要时触发扩展，并以最小程度扩展以保持效率。
• 确保在每个搜索空间中实现局部 $ε$-精度，从而通过迭代优化最终实现全局 $ε$-精度。

提出的方法

• 该方法使用 GP-UCB 获取函数作为代理，以估计可能存在距离函数最大值在 $ε$ 以内的点的区域。
• 推导出解析表达式，以基于当前获取函数的最大值和 $ε$-精度阈值，确定扩展的时间和范围。
• 仅当当前搜索空间包含一个函数值在目标最大值 $ε$ 以内的点时，才触发扩展，从而确保局部 $ε$-精度。
• 算法通过最小化扩展方式动态调整搜索空间，以包含估计的最优区域，避免在边界附近进行不必要的评估。
• 每次扩展后，重新定义获取函数，以在新区域内保持 $ε$-精度保证。
• 该方法设计为完全自动化，无需用户定义扩展或正则化的参数。

实验结果

研究问题

• RQ1 在缺乏目标函数先验知识和用户指定参数的情况下，贝叶斯优化能否在未知搜索空间中实现 $ε$-精度？
• RQ2 算法如何确定搜索空间扩展的最佳时机和范围，以在保证收敛的前提下最小化评估次数？
• RQ3 在有限次迭代后，如何确保每个扩展区域的局部 $ε$-精度可导致全局 $ε$-精度？
• RQ4 与现有方法（如体积加倍、正则化或过滤）相比，该方法在收敛性和样本效率方面表现如何？
• RQ5 该方法能否在真实世界超参数调优中，适应未知且复杂的客观函数，同时保持理论保证？

主要发现

• 所提出的 GPUCB-UBO 方法在弹性网络的超参数调优中优于所有基线方法，以更少的评估次数实现了更高的 MNIST 预测精度。
• 对于多层感知机模型，GPUCB-UBO 仅用 12 次迭代就达到了 97.8% 的预测精度，而其他方法需超过 24 次迭代才能达到相同水平。
• 在卷积神经网络调优中，GPUCB-UBO 在 30 次迭代后达到 98.7% 的准确率，显著优于所有对比方法。
• 该方法在五个合成基准函数上表现出色，始终以更少样本找到更优的函数值，优于当前最先进方法。
• 理论分析证实，该方法可在有限次迭代内实现 $ε$-精度，且无需用户定义扩展或正则化的参数。
• 该算法的自动、最小化扩展策略减少了在搜索空间边界附近的无效评估，提升了样本效率。