[论文解读] Exploiting gradients and Hessians in Bayesian optimization and Bayesian quadrature

Anqi Wu, Mikio Aoi+1 more|arXiv (Cornell University)|Mar 31, 2017

Gaussian Processes and Bayesian Inference参考文献 10被引用 22

一句话总结

该论文提出了一种新颖的贝叶斯优化（BO）与贝叶斯积分（BQ）框架，通过在高斯过程（GP）模型中利用函数值、梯度和海森矩阵，加速收敛并减少不确定性。通过引入输入重标度和谱表示方法，有效缓解了高阶导数带来的病态条件问题，实现了更快的超参数学习速度，并在标准GP-based BO与BQ方法上表现出更优性能，尤其在合成问题与真实世界问题（包括边际似然优化）中均取得显著实证提升。

ABSTRACT

An exciting branch of machine learning research focuses on methods for learning, optimizing, and integrating unknown functions that are difficult or costly to evaluate. A popular Bayesian approach to this problem uses a Gaussian process (GP) to construct a posterior distribution over the function of interest given a set of observed measurements, and selects new points to evaluate using the statistics of this posterior. Here we extend these methods to exploit derivative information from the unknown function. We describe methods for Bayesian optimization (BO) and Bayesian quadrature (BQ) in settings where first and second derivatives may be evaluated along with the function itself. We perform sampling-based inference in order to incorporate uncertainty over hyperparameters, and show that both hyperparameter and function uncertainty decrease much more rapidly when using derivative information. Moreover, we introduce techniques for overcoming ill-conditioning issues that have plagued earlier methods for gradient-enhanced Gaussian processes and kriging. We illustrate the efficacy of these methods using applications to real and simulated Bayesian optimization and quadrature problems, and show that exploting derivatives can provide substantial gains over standard methods.

研究动机与目标

• 开发一种可扩展且数值稳定的算法，用于将一阶与二阶导数信息整合进基于GP的贝叶斯优化与积分方法中。
• 解决长期以来在包含海森矩阵信息的导数增强型GP中出现的病态条件问题。
• 通过利用导数信息，提升贝叶斯优化与积分中的不确定性量化精度与收敛速度。
• 实现高阶导数在昂贵函数评估的贝叶斯推断中的实际应用。
• 在合成问题与真实世界问题（包括边际似然优化）中，验证该方法的有效性。

提出的方法

• 提出一种GP核的谱表示方法，即使在存在导数观测数据的情况下，也能以任意精度逼近精确后验分布。
• 应用输入重标度技术，改善包含梯度与海森矩阵时协方差矩阵的数值条件性。
• 采用基于采样的超参数推断方法以传播不确定性，从而实现对导数数据的鲁棒后验更新。
• 在BQ中采用两种主动采样策略：最小化积分后验方差，以及最大化被积函数加权后的不确定性。
• 在谱域中推导出后验均值与方差的闭式表达式，从而高效计算主动学习中的不确定性。
• 实现导数增强型GP的双空间推导，推广了以往依赖于单调性等严格假设的先驱工作。

实验结果

研究问题

• RQ1 与标准方法相比，将梯度与海森矩阵信息引入基于GP的贝叶斯优化，是否能显著提升收敛速度与不确定性缩减？
• RQ2 在包含海森矩阵观测数据的情况下，如何有效缓解导数增强型GP中的病态条件问题，以实现实际应用？
• RQ3 利用导数信息是否能加快并提升GP模型中边际似然估计的精度？
• RQ4 谱表示与输入重标度是否能协同提供一种稳定且精确的替代方案，以替代包含导数信息的精确GP推断？
• RQ5 当可获取导数信息时，贝叶斯积分中不同主动采样策略的表现如何？

主要发现

• 与标准GP-based方法相比，引入梯度与海森矩阵可显著加快函数不确定性与超参数不确定性的缩减速度。
• 所提出的GP核谱表示方法即使在高阶导数数据存在的情况下，也能以任意高精度逼近精确后验分布。
• 输入重标度有效缓解了历史上阻碍海森矩阵信息在GP模型中实际应用的病态条件问题。
• 在贝叶斯积分中，导数增强方法（GPBQhess）相较于标准GPBQ收敛至真实积分值更快，且平均误差更低。
• 采用被积函数加权后不确定性（公式28）的主动采样策略，在保持强收敛性能的同时，实现了显著的计算节省。
• 该方法在单峰与多峰优化任务中均表现出优越性能，且在真实世界中的边际似然优化任务中，也优于基线方法，展现出更快的收敛速度与更高的精度。