[论文解读] Bayesian Optimization with Expensive Integrands

Saul Toscano-Palmerin, Peter I. Frazier|arXiv (Cornell University)|Mar 23, 2018

Advanced Multi-Objective Optimization Algorithms被引用 8

一句话总结

本文提出了一种贝叶斯优化方法，用于优化目标函数为昂贵评估函数的积分或求和形式，通过一种新颖的信息价值计算方法实现一步平均情况最优性。该方法提出了一种无需离散化的高效优化方法，适用于噪声或平滑被积函数条件，理论一致性良好，并在噪声和光滑设置下相较于最先进方法表现出优越的实证性能。

ABSTRACT

We propose a Bayesian optimization algorithm for objective functions that are sums or integrals of expensive-to-evaluate functions, allowing noisy evaluations. These objective functions arise in multi-task Bayesian optimization for tuning machine learning hyperparameters, optimization via simulation, and sequential design of experiments with random environmental conditions. Our method is average-case optimal by construction when a single evaluation of the integrand remains within our evaluation budget. Achieving this one-step optimality requires solving a challenging value of information optimization problem, for which we provide a novel efficient discretization-free computational method. We also provide consistency proofs for our method in both continuum and discrete finite domains for objective functions that are sums. In numerical experiments comparing against previous state-of-the-art methods, including those that also leverage sum or integral structure, our method performs as well or better across a wide range of problems and offers significant improvements when evaluations are noisy or the integrand varies smoothly in the integrated variables.

研究动机与目标

• 解决目标函数为昂贵评估函数的积分或求和形式的无导数全局优化问题。
• 开发一种在固定评估预算下实现一步平均情况最优性的方法。
• 高效处理被积函数变量中的噪声评估和平滑变化。
• 在目标函数为求和形式时，为有限域和连续域提供理论一致性。
• 通过利用积分结构并最小化无效评估，超越现有方法。

提出的方法

• 该方法使用高斯过程先验对被积函数 $ F(x,w) $ 建模，从而实现对目标 $ G(x) = \int F(x,w)p(w)dw $ 的概率推断。
• 通过构建信息价值优化问题，选择能使 $ G(x) $ 的期望改进最大化的下一个评估点 $ (x,w) $，避免对 $ w $-空间进行离散化。
• 提出一种新颖的计算方法，高效求解信息价值问题，无需对 $ w $-域进行离散化。
• 该算法在 $ x $ 和 $ w $ 之间自适应分配评估，平衡联合 $ (x,w) $-空间中的探索与利用。
• 使用 $ F(x,w) $ 的噪声观测值，并维护对 $ G(x) $ 的后验分布，每次评估后更新信念。
• 在 $ F $ 和 $ p(w) $ 满足标准正则性条件时，为离散和连续 $ w $-域建立了理论一致性。

实验结果

研究问题

• RQ1 能否设计一种贝叶斯优化框架，以高效优化被积函数为昂贵函数的积分形式目标？
• RQ2 如何在不离散化被积函数定义域的前提下，高效计算信息价值？
• RQ3 在固定评估预算下，所提方法是否能实现一步平均情况最优性？
• RQ4 与现有方法相比，该方法在噪声评估或被积函数平滑变化条件下的表现如何？
• RQ5 对于基于求和的目标函数，该方法在有限域和连续域中是否具有理论一致性？

主要发现

• 当单次被积函数评估在预算范围内时，所提方法通过构造实现一步平均情况最优性。
• 在数值实验中，该方法优于最先进方法，尤其在噪声评估或被积函数平滑变化条件下表现更优。
• 当被积函数在 $ w $-变量上呈现平滑变化时，该方法在收敛速度和最终解质量方面均表现出显著提升。
• 在标准正则性假设下，为有限域和连续域均证明了理论一致性。
• 通过一种新颖的无需离散化的方法，高效求解了信息价值计算，实现了对连续 $ w $-空间的可扩展优化。
• 实证结果表明，该方法在多种问题类别中均表现出稳健性能，包括多任务贝叶斯优化和基于仿真的设计。