[论文解读] Bayesian Optimization using Deep Gaussian Processes

Ali Hebbal, Loïc Brevault+3 more|arXiv (Cornell University)|May 7, 2019

Gaussian Processes and Bayesian Inference参考文献 58被引用 14

一句话总结

本文提出DEGO，一种基于深度高斯过程（DGPs）作为代理模型的贝叶斯优化算法，能够比标准高斯过程更有效地处理非平稳黑箱函数。通过利用DGP的层次结构以更好地表征非平稳行为，并结合自然梯度优化与热启动初始化，DEGO在分析函数和航空航天设计问题上实现了比最先进贝叶斯优化方法更快的收敛速度和更优的性能。

ABSTRACT

Bayesian Optimization using Gaussian Processes is a popular approach to deal with the optimization of expensive black-box functions. However, because of the a priori on the stationarity of the covariance matrix of classic Gaussian Processes, this method may not be adapted for non-stationary functions involved in the optimization problem. To overcome this issue, a new Bayesian Optimization approach is proposed. It is based on Deep Gaussian Processes as surrogate models instead of classic Gaussian Processes. This modeling technique increases the power of representation to capture the non-stationarity by simply considering a functional composition of stationary Gaussian Processes, providing a multiple layer structure. This paper proposes a new algorithm for Global Optimization by coupling Deep Gaussian Processes and Bayesian Optimization. The specificities of this optimization method are discussed and highlighted with academic test cases. The performance of the proposed algorithm is assessed on analytical test cases and an aerospace design optimization problem and compared to the state-of-the-art stationary and non-stationary Bayesian Optimization approaches.

研究动机与目标

• 为解决经典贝叶斯优化中高斯过程因平稳协方差假设而难以处理非平稳黑箱函数的局限性。
• 开发一种新颖的贝叶斯优化算法，利用深度高斯过程的表征能力来建模复杂且非平稳的响应曲面。
• 通过在迭代贝叶斯优化循环中集成自然梯度训练与热启动初始化，提升优化效率。
• 在基准分析函数和一个真实世界航空航天设计问题上验证所提方法，证明其具备更优的收敛性和鲁棒性。
• 探索深度高斯过程在贝叶斯优化中的潜力，超越标准GP方法，包括替代的填充准则和并行化策略。

提出的方法

• 该方法采用具有两层隐藏层的深度高斯过程代理模型，通过平稳高斯过程的功能组合来捕捉非平稳行为。
• 对DGP的所有变分参数应用自然梯度优化，以改善证据下界（ELBO）的收敛性。
• 通过将前一DGP模型的最优参数传递至下一次迭代，实现热启动初始化，从而在迭代贝叶斯优化循环中加速训练。
• 采用基于采样的期望改进（EI）填充准则近似，因为DGP预测不一定是高斯分布。
• 算法使用并行差分进化算法优化填充准则，种群规模为400，进化100代。
• 对数据进行标准化处理，使其均值为0、方差为1，并在所有层中使用初始长度尺度和方差均为1的RBF核。

实验结果

研究问题

• RQ1 与标准高斯过程相比，深度高斯过程是否能提升贝叶斯优化在非平稳黑箱函数上的性能？
• RQ2 在迭代贝叶斯优化的背景下，自然梯度优化如何增强DGP训练的稳定性和收敛性？
• RQ3 在贝叶斯优化迭代过程中，DGP参数的热启动初始化在多大程度上减少了训练时间并提升了收敛速度？
• RQ4 所提出的DEGO算法在分析函数和真实世界问题上，与最先进的一阶和非平稳贝叶斯优化方法相比表现如何？
• RQ5 当DGP预测非高斯分布时，基于采样的填充准则对DGP-based贝叶斯优化有何影响？

主要发现

• 与标准高斯过程贝叶斯优化及非线性映射方法相比，DEGO在分析测试函数（包括修改后的Xiong函数和TNK函数）上表现出更快的收敛速度和更强的鲁棒性。
• 在10维Trid函数上，DEGO以更少的函数评估次数成功找到了全局最小值，优于基线方法。
• 在6维Hartmann函数上，DEGO的优化性能优于最先进方法，尤其在高非平稳性区域表现更优。
• 在真实世界航空航天设计优化问题中，DEGO相比经典高斯过程贝叶斯优化展现出显著的收敛加速，表明其在工程应用中具有实际优势。
• 自然梯度优化的使用使DGP训练期间ELBO的收敛更加稳定且迅速，从而增强了不确定性量化能力。
• 热启动初始化显著减少了连续贝叶斯优化迭代中的训练时间，提升了整体算法效率。