[论文解读] Mean-Variance Analysis in Bayesian Optimization under Uncertainty

Shogo Iwazaki, I. Yu+1 more|arXiv (Cornell University)|Sep 17, 2020

Gaussian Processes and Bayesian Inference参考文献 25被引用 7

一句话总结

该论文提出了一种贝叶斯优化中的均值-方差分析（MVA-BO）框架，用于在不可控环境参数影响下进行不确定性主动学习，联合优化黑箱函数的均值与方差。通过将性能函数建模为高斯过程（GP），作者推导了均值与方差风险度量的边界，并为多任务、多目标及约束优化场景设计了专用的获取函数，理论分析表明其具有收敛性，数值实验也验证了其有效性。

ABSTRACT

We consider active learning (AL) in an uncertain environment in which trade-off between multiple risk measures need to be considered. As an AL problem in such an uncertain environment, we study Mean-Variance Analysis in Bayesian Optimization (MVA-BO) setting. Mean-variance analysis was developed in the field of financial engineering and has been used to make decisions that take into account the trade-off between the average and variance of investment uncertainty. In this paper, we specifically focus on BO setting with an uncertain component and consider multi-task, multi-objective, and constrained optimization scenarios for the mean-variance trade-off of the uncertain component. When the target blackbox function is modeled by Gaussian Process (GP), we derive the bounds of the two risk measures and propose AL algorithm for each of the above three problems based on the risk measure bounds. We show the effectiveness of the proposed AL algorithms through theoretical analysis and numerical experiments.

研究动机与目标

• 解决受不可控环境参数影响、从而影响性能结果的环境中的主动学习问题。
• 对受不确定性影响的黑箱函数的期望性能（均值）与风险（方差）之间的权衡进行建模与优化。
• 设计在环境参数为随机变量时，能同时考虑性能函数均值与方差不确定性的获取函数。
• 将GP-UCB扩展至处理非高斯过程方差函数，并在多任务、多目标及约束设置下实现高效优化。
• 为所提出的MVA-BO框架提供理论收敛保证与实证验证。

提出的方法

• 将性能函数 f(x,w) 建模为高斯过程（GP），其中 x 为设计参数，w 为具有已知分布 p(w) 的环境参数。
• 利用GP的性质推导 f(x,w) 在 w 上的期望值（均值）与方差的解析边界，对均值利用GP特性，对方差使用浓度不等式进行近似。
• 提出一种改进的GP-UCB获取函数，结合性能函数均值与方差的不确定性，利用推导出的边界指导探索。
• 针对三种场景设计独立的获取策略：(1) 均值与方差的加权和优化，(2) 帕累托前沿识别，(3) 以一项目标为优化目标、另一项为约束的约束优化。
• 通过离散化与 ϵ-近似帕累托集估计，确保在有限次迭代内收敛至近似最优解。
• 建立理论遗憾边界，表明该算法在有限次迭代 T 内可达到 ϵ-准确的帕累托集，其依赖于问题参数与置信水平。

实验结果

研究问题

• RQ1 如何将贝叶斯优化扩展至在环境不确定性下联合优化性能函数的均值与方差？
• RQ2 何种获取函数设计可实现在性能函数方差非高斯过程且无法直接观测时的高效主动学习？
• RQ3 在多任务、多目标及约束优化设置下，如何有效管理期望性能与风险之间的权衡？
• RQ4 所提出的MVA-BO框架中，对收敛至 ϵ-准确帕累托集可提供何种理论保证？
• RQ5 在方差作为关键设计准则的场景中，所提出方法是否能优于标准贝叶斯优化？

主要发现

• 所提出的MVA-BO框架可在有限次迭代 T 内达到 ϵ-准确的帕累托集，其中 T 依赖于问题的置信水平 δ 与核函数的光滑性。
• 理论分析表明，该算法收敛至一个解，使得均值与方差的估计值均在真实值的 ϵ/2 范围内，从而确保整体 ϵ-准确性。
• 通过基于浓度的边界推导，成功处理了方差函数的非高斯性质，实现了有效的不确定性量化。
• 数值实验表明，所提出的获取函数在多任务、多目标及约束优化场景中均表现出有效性。
• 该框架将GP-UCB扩展以支持风险感知优化，使其实现可在具有不确定环境条件的实际应用中部署。
• 该算法保证，真实帕累托集中的任意点在均值与方差上均存在一个距离不超过 ϵ 的近似点，从而确保鲁棒性与可靠性。