[论文解读] BOCK : Bayesian Optimization with Cylindrical Kernels

ChangYong Oh, Efstratios Gavves+1 more|arXiv (Cornell University)|Jun 5, 2018

Gaussian Processes and Bayesian Inference参考文献 33被引用 34

一句话总结

BOCK 引入了一种新颖的贝叶斯优化框架，通过圆柱形变换重塑搜索空间的几何结构，降低对边界的熵偏倚，并将优化精力集中于中心区域。该方法在高维问题上实现了最先进性能，包括对 500 维神经网络层及随机深度残差网络超参数的优化，显著提升了准确率与效率。

ABSTRACT

A major challenge in Bayesian Optimization is the boundary issue (Swersky, 2017) where an algorithm spends too many evaluations near the boundary of its search space. In this paper, we propose BOCK, Bayesian Optimization with Cylindrical Kernels, whose basic idea is to transform the ball geometry of the search space using a cylindrical transformation. Because of the transformed geometry, the Gaussian Process-based surrogate model spends less budget searching near the boundary, while concentrating its efforts relatively more near the center of the search region, where we expect the solution to be located. We evaluate BOCK extensively, showing that it is not only more accurate and efficient, but it also scales successfully to problems with a dimensionality as high as 500. We show that the better accuracy and scalability of BOCK even allows optimizing modestly sized neural network layers, as well as neural network hyperparameters.

研究动机与目标

• 为解决贝叶斯优化中的边界问题，即在高维空间中由于体积呈指数增长导致评估过度集中于搜索空间边界。
• 提升高维空间中基于高斯过程的贝叶斯优化的效率与准确率。
• 实现对复杂高维函数（如神经网络层与超参数）的有效优化。
• 展示贝叶斯优化在高达 500 维问题上的可扩展性，而标准方法在此类问题上会失效。

提出的方法

• 使用圆柱形变换转换搜索空间，将球体映射为圆柱体，使体积在径向距离上均匀分布。
• 在变换后的空间中应用径向核来建模代理函数，确保每个环形区域的体积相等，从而消除对边界的熵力影响。
• 通过坐标变换将原始优化问题转换到中心更占优势的新空间，同时保持高斯过程代理的结构不变。
• 定义一种新型圆柱形核，整合几何变换，实现在变换空间中的精确且稳定的回归。
• 将圆柱形核集成到标准贝叶斯优化流程中，使用如期望改进等采集函数。
• 优化变换参数，以在中心区域实现扩展、在边界区域实现压缩，从而提升收敛速度与采样效率。

实验结果

研究问题

• RQ1 在高维贝叶斯优化中，对搜索空间进行几何变换是否能降低对边界的熵偏倚？
• RQ2 圆柱形变换如何影响基于高斯过程的贝叶斯优化的准确率与采样效率？
• RQ3 BOCK 是否能优化标准贝叶斯优化失效的高维问题（高达 500 维）？
• RQ4 BOCK 在优化神经网络层与超参数方面是否优于标准贝叶斯优化方法？
• RQ5 在深度学习超参数优化中，BOCK 是否能实现优于 Adam 等标准训练方法的泛化能力或性能表现？

主要发现

• 在标准基准函数上，BOCK 的准确率与效率均优于当前最先进贝叶斯优化基线，尤其在高维设置下表现更优。
• BOCK 在 500 维神经网络层优化中表现优异，测试损失与使用 Adam 的 SGD 方法相当，尽管存在对测试集的过拟合现象。
• 在 200 和 500 维实验中，BOCK 在五次运行中均匹配或超越基于 Adam 的 SGD，展现出强鲁棒性与可扩展性。
• BOCK 在 CIFAR-100 上对 Stochastic Depth ResNet-110 的死亡率向量进行超参数优化，仅用 50 次评估即达到 75.21% 的验证准确率，且期望深度降低至 74.51。
• 经优化的 SDResNet 在测试准确率上达到 75.06%，略高于基线的 74.90%，同时使用了更浅的网络结构，体现出更高的效率与性能。