[论文解读] Heteroscedastic Treed Bayesian Optimisation

John-Alexander M. Assael, Ziyu Wang+2 more|arXiv (Cornell University)|Oct 27, 2014

Machine Learning and Algorithms参考文献 38被引用 25

一句话总结

本文提出异方差树形贝叶斯优化（HTBO），一种新颖的方法，将决策树与高斯过程（GP）叶节点结合，以在贝叶斯优化中建模非平稳、异方差的目标函数。通过采用分层参数学习方案和加权边际似然，HTBO在稀疏叶区域中稳定了超参数估计，从而在合成问题和真实世界问题（包括自动化机器学习和采矿勘探）中均实现了更优的收敛性和鲁棒性，优于标准方法和基于扭曲高斯过程的方法。

ABSTRACT

Optimising black-box functions is important in many disciplines, such as tuning machine learning models, robotics, finance and mining exploration. Bayesian optimisation is a state-of-the-art technique for the global optimisation of black-box functions which are expensive to evaluate. At the core of this approach is a Gaussian process prior that captures our belief about the distribution over functions. However, in many cases a single Gaussian process is not flexible enough to capture non-stationarity in the objective function. Consequently, heteroscedasticity negatively affects performance of traditional Bayesian methods. In this paper, we propose a novel prior model with hierarchical parameter learning that tackles the problem of non-stationarity in Bayesian optimisation. Our results demonstrate substantial improvements in a wide range of applications, including automatic machine learning and mining exploration.

研究动机与目标

• 解决标准贝叶斯优化在处理非平稳、异方差目标函数时的局限性。
• 开发一种灵活且可扩展的模型，能够捕捉输入空间不同区域中复杂且变化的噪声结构。
• 通过分层加权边际似然方法，在树叶节点的低数据环境下改善超参数学习。
• 在合成基准和真实世界应用（如自动化机器学习和采矿勘探）中展示鲁棒且优越的性能。
• 证明基于树的划分结合GP叶节点在异方差环境下可优于单一GP和扭曲GP模型。

提出的方法

• 该方法使用决策树将输入空间划分为多个区域，每个区域由独立的高斯过程（GP）叶节点建模。
• 每个GP叶节点配备具有自动相关性确定的Matérn(5/2)核，以捕捉局部平滑性和非平稳性。
• 使用加权边际似然来学习每个叶节点的超参数，权重基于观测数量，从而在稀疏区域提升稳定性。
• 通过确保区域间过渡平滑，树结构被构建以避免分裂点附近的方差爆炸。
• 通过扭曲高斯过程变体（HTBO Warp）支持输入变换，增强对非高斯噪声和偏度的建模灵活性。
• 从树形结构GP模型的完整后验分布中推导获取函数，以指导序列查询选择。

实验结果

研究问题

• RQ1 具有局部超参数学习的树形GP模型是否能在异方差贝叶斯优化中优于标准GP和扭曲GP模型？
• RQ2 如何在树叶节点的低数据环境下稳定超参数估计，同时避免过拟合？
• RQ3 在非平稳、噪声目标函数中，跨树节点的分层学习是否能提升鲁棒性和收敛性？
• RQ4 所提出方法是否能在高异方差性的现实世界问题中实现更快的收敛和更优的全局优化性能？
• RQ5 HTBO和HTBO Warp在多样化合成与真实世界基准上的性能与基线BO及BO Warp相比如何？

主要发现

• HTBO Warp在6个基准中的5个中表现最佳，包括RKHS函数和Agromet采矿数据等最具挑战性的异方差问题。
• 在RKHS函数上，HTBO Warp在约40次评估内收敛至全局最优，而标准BO和BO Warp未能收敛。
• 在Agromet采矿数据集中，HTBO和HTBO Warp显著优于BO和BO Warp，得益于对异方差性的更好建模，实现了更快的收敛。
• 在2D Exp.函数上，HTBO和HTBO Warp的收敛速度优于BO和BO Warp，证明了在非平稳领域中基于树的划分具有优势。
• 在结构化SVM等简单问题上，所有方法最终均收敛，但HTBO和HTBO Warp保持了竞争力，表明在同方差设置下无性能退化。
• 分层加权边际似然方法即使在每片叶节点观测数极少的情况下也能实现稳定的超参数学习，防止了过拟合和方差爆炸。