[论文解读] Bayesian Optimization of Risk Measures

Sait Cakmak, Raul Astudillo+2 more|arXiv (Cornell University)|Jul 10, 2020

Gaussian Processes and Bayesian Inference参考文献 18被引用 5

一句话总结

该论文提出了一种新颖的贝叶斯优化框架，用于最小化风险度量——风险价值（VaR）与条件风险价值（CVaR）——通过将黑箱函数 $F(x,W)$ 直接建模为高斯过程，实现在查询时同时选择决策变量 $x$ 和环境变量 $w$。该方法通过利用单个 $F(x,w)$ 评估中的细粒度信息，显著提升了采样效率，优于当前最先进的方法。所提出的获取函数 $\rho\textnormal{KG}$ 和 $\rho\textnormal{KG}^{apx}$ 在数值实验中表现优于基线方法。

ABSTRACT

We consider Bayesian optimization of objective functions of the form $ρ[ F(x, W) ]$, where $F$ is a black-box expensive-to-evaluate function and $ρ$ denotes either the VaR or CVaR risk measure, computed with respect to the randomness induced by the environmental random variable $W$. Such problems arise in decision making under uncertainty, such as in portfolio optimization and robust systems design. We propose a family of novel Bayesian optimization algorithms that exploit the structure of the objective function to substantially improve sampling efficiency. Instead of modeling the objective function directly as is typical in Bayesian optimization, these algorithms model $F$ as a Gaussian process, and use the implied posterior on the objective function to decide which points to evaluate. We demonstrate the effectiveness of our approach in a variety of numerical experiments.

研究动机与目标

• 解决当目标函数 $F(x,W)$ 评估成本高昂且无导数时，优化 VaR 和 CVaR 等风险度量的挑战。
• 克服标准贝叶斯优化将 $\rho[F(x,W)]$ 视为黑箱所带来的低效性，后者在每次查询中需要大量昂贵的评估。
• 开发一种在评估时联合选择 $x$ 和 $w$ 的方法，利用模拟预言机以提升查询效率。
• 设计合理的获取函数——$\rho\textnormal{KG}$ 和 $\rho\textnormal{KG}^{apx}$——通过基于梯度的方法进行优化，并保证渐近无偏性。
• 通过双时间尺度方法，实现对涉及嵌套优化的获取函数的高效优化。

提出的方法

• 将黑箱函数 $F(x,W)$ 建模为高斯过程（GP），以捕捉 $x$ 和 $w$ 两者上的不确定性，而非直接建模 $\rho[F(x,W)]$。
• 利用 GP 后验分布估计 $F(x,W)$ 在 $W$ 随机性下的 VaR 和 CVaR，实现对风险度量的不确定性量化。
• 提出 $\rho\textnormal{KG}$，一种基于 GP 后验预测分布推导出的一步贝叶斯最优获取函数，旨在最大化风险度量的期望改进。
• 引入 $\rho\textnormal{KG}^{apx}$，作为 $\rho\textnormal{KG}$ 的计算高效近似，保持强性能的同时降低计算成本。
• 采用对 $\rho\textnormal{KG}$ 和 $\rho\textnormal{KG}^{apx}$ 的梯度估计器，保证渐近无偏且一致，从而支持通过基于梯度的方法实现高效优化。
• 应用双时间尺度优化方案，以处理需要内部优化的获取函数，提升数值稳定性与收敛性。

实验结果

研究问题

• RQ1 在函数评估期间联合选择 $x$ 和 $w$ 是否能显著提升贝叶斯优化风险度量的采样效率？
• RQ2 当 $F(x,W)$ 为黑箱、评估成本高昂时，如何高效估计并优化 VaR 和 CVaR 等风险度量？
• RQ3 何种获取函数设计可在保持计算可及性的同时，实现在风险规避贝叶斯优化中的一步贝叶斯最优性？
• RQ4 如何将基于梯度的优化应用于涉及 $w$ 上嵌套期望的获取函数？
• RQ5 与直接建模 $\rho[F(x,W)]$ 相比，直接将 $F(x,w)$ 建模为 GP 在收敛速度和解质量方面是否具有显著优势？

主要发现

• 所提出的 $\rho\textnormal{KG}^{apx}$ 获取函数在数值实验中显著优于当前最先进的贝叶斯优化方法，采样效率更高。
• 该方法优于将 $\rho[F(x,W)]$ 视为黑箱的标准贝叶斯优化，尤其在 $F$ 评估成本高昂、需大量样本才能准确估计风险度量时表现更优。
• $\rho$-随机基线（随机选择 $x$ 和 $w$，但使用完整 GP 模型）优于标准贝叶斯优化，凸显了所提统计模型的价值。
• 双时间尺度优化方法实现了对涉及内部优化问题的获取函数的稳定且高效优化，提升了计算可扩展性。
• 在 Branin 和 $f_6$ 等基准函数上的数值实验表明，即使每次函数评估耗时数分钟，所提算法仍能显著节省时间。
• 该框架通过提供基于仿真的稳健推荐，使高风险领域（如金融、医疗、灾害管理）中的风险规避决策成为可能。