[论文解读] Maximizing acquisition functions for Bayesian optimization

James T. Wilson, Frank Hutter+1 more|arXiv (Cornell University)|May 25, 2018

Advanced Multi-Objective Optimization Algorithms被引用 67

一句话总结

本文分析在贝叶斯优化中如何高效最大化采集函数，展示蒙特卡罗估计采集的梯度优化以及对一类短视最大化的采集函数的贪心最大化的近似最优保证。

ABSTRACT

Bayesian optimization is a sample-efficient approach to global optimization that relies on theoretically motivated value heuristics (acquisition functions) to guide its search process. Fully maximizing acquisition functions produces the Bayes' decision rule, but this ideal is difficult to achieve since these functions are frequently non-trivial to optimize. This statement is especially true when evaluating queries in parallel, where acquisition functions are routinely non-convex, high-dimensional, and intractable. We first show that acquisition functions estimated via Monte Carlo integration are consistently amenable to gradient-based optimization. Subsequently, we identify a common family of acquisition functions, including EI and UCB, whose properties not only facilitate but justify use of greedy approaches for their maximization.

研究动机与目标

• 阐明通过蒙特卡罗估计的采集函数如何可微分并进行优化。
• 表明一个常见的采集函数家族是子模的，且可通过贪心最大化获得近似最优保证。
• 提供在并行和高维设置下改善贝叶斯优化性能的实用方法和实证证据。
• 探讨对离散事件的扩展及从连续到离散的松弛以实现可微分性。

提出的方法

• 证明通过重参数化技巧和样本路径导数，MC 采集函数是可微的。
• 提供用于采集的重参数化高斯积分形式，支持基于梯度的优化。
• 表明常见的 MM（myopic maximal）采集函数具有子模性，保证近似最优的贪心最大化。
• 给出 MM 采集的增量（边际）视角，将 EI、PI、SR 和 UCB 与类似 EI 的边际增益联系起来。
• 提供连续松弛以在基于梯度的优化中处理离散事件。
• 将 UCB 扩展为适合并行优化的可微分 MC 形式。

实验结果

研究问题

• RQ1 通过梯度方法，蒙特卡罗估计的采集函数是否可以被微分并高效优化？
• RQ2 短视最大化的采集函数是否具有子模性，贪心方法是否在并行贝叶斯优化中产生近似最优的查询集？
• RQ3 如何通过连续松弛将离散事件标准嵌入可微分采集优化？
• RQ4 在并行和高维设置中，基于梯度的 MC 优化和增量 MM 公式能带来哪些实际的 BO 性能提升？

主要发现

• 在温和条件下，MC 采集函数可以被微分并无偏地优化。
• 一种重参数化使 q-EI 及相关采集在并行设置中可进行基于梯度的优化。
• 证明 MM 采集函数（EI、PI、SR、UCB）具有子模性，确保带保证的近似最优贪心最大化。
• 增量边际增益在计算上具有优势，并随着联合采集维度的增加具有更好的可扩展性。
• 连续松弛使离散事件具备可微分性，从而实现基于梯度的优化。
• 实证结果显示在合成和黑盒任务中，在不同维度和并行度下取得提升。