[论文解读] Bayesian optimisation under uncertain inputs

Rafael Oliveira, Lionel Ott+1 more|arXiv (Cornell University)|Feb 21, 2019

Advanced Bandit Algorithms Research被引用 19

一句话总结

该论文提出uGP-UCB，一种贝叶斯优化算法，通过使用核嵌入和高斯过程对不确定的查询输入进行建模，将输入位置表示为概率分布。该方法在输入不确定性下提供了理论上的遗憾边界，并在存在噪声执行和定位误差的模拟及现实场景中优于传统方法。

ABSTRACT

Bayesian optimisation (BO) has been a successful approach to optimise functions which are expensive to evaluate and whose observations are noisy. Classical BO algorithms, however, do not account for errors about the location where observations are taken, which is a common issue in problems with physical components. In these cases, the estimation of the actual query location is also subject to uncertainty. In this context, we propose an upper confidence bound (UCB) algorithm for BO problems where both the outcome of a query and the true query location are uncertain. The algorithm employs a Gaussian process model that takes probability distributions as inputs. Theoretical results are provided for both the proposed algorithm and a conventional UCB approach within the uncertain-inputs setting. Finally, we evaluate each method's performance experimentally, comparing them to other input noise aware BO approaches on simulated scenarios involving synthetic and real data.

研究动机与目标

• 解决由于执行和定位噪声导致查询位置不确定的贝叶斯优化问题。
• 为贝叶斯优化中不确定输入下的遗憾分析建立理论框架。
• 提出一种新颖的算法uGP-UCB，该算法在高斯过程框架内将不确定输入建模为概率分布。
• 在合成数据和真实数据上，对uGP-UCB与现有输入噪声感知的贝叶斯优化方法进行实证评估。

提出的方法

• 使用概率分布的核嵌入来定义适用于不确定输入的高斯过程的有效核函数。
• 采用改进的上置信度上限（UCB）采集函数，同时考虑输入和输出观测中的不确定性。
• 应用不确定输入的平方指数核，针对高斯输入分布进行解析推导，以计算GP协方差。
• 将估计的真实查询位置分布 $ P^L_t $ 和执行噪声 $ P^E_{m{x}} $ 整合到GP模型中，以预测期望函数值。
• 利用Pinsker不等式和再生核希尔伯特空间范数，推导出在不确定输入下uGP-UCB和标准IGP-UCB的理论遗憾边界。
• 使用蒙特卡洛采样和核化期望近似方法，计算在输入不确定性下的期望函数值。

实验结果

研究问题

• RQ1 查询位置的输入不确定性如何影响标准贝叶斯优化算法的性能？
• RQ2 能否将基于GP的采集函数调整为处理输入分布而非点估计，从而在噪声执行环境中提升鲁棒性？
• RQ3 在不确定输入下，贝叶斯优化的理论遗憾边界可以建立为何种形式？
• RQ4 所提出的uGP-UCB算法在收敛性和鲁棒性方面，与现有输入噪声感知的贝叶斯优化方法相比如何？
• RQ5 通过核嵌入建模输入不确定性对优化效率和准确性有何影响？

主要发现

• 在具有不确定输入的合成和现实世界场景中，uGP-UCB算法的遗憾低于标准IGP-UCB和其他输入噪声感知方法。
• 推导出在不确定输入下uGP-UCB和IGP-UCB的理论遗憾边界，表明遗憾随估计输入分布与真实输入分布之间的Kullback-Leibler散度而增长。
• 不确定输入的平方指数核为高斯输入分布提供了解析解，从而在GP模型中实现高效计算。
• 实证结果表明，当输入不确定性较高时，uGP-UCB收敛速度更快，优化性能优于基线方法。
• 该方法在高维或噪声较大的环境中，优于使用无迹变换或蒙特卡洛积分进行输入边缘化的方案。
• 理论分析证实，在输入不确定性下的期望函数值受GP范数和输入分布之间KL散度的约束，从而确保稳定性。