[论文解读] Bayesian Optimization over Discrete and Mixed Spaces via Probabilistic Reparameterization

Samuel Daulton, Xingchen Wan+4 more|arXiv (Cornell University)|Oct 18, 2022

Advanced Multi-Objective Optimization Algorithms被引用 16

一句话总结

本文提出概率重参数化（PR），一种在离散和混合空间上进行贝叶斯优化的方法，通过将离散参数重参数化为连续概率分布，实现基于梯度的优化。通过在这些分布上优化期望获取函数，PR 实现了基于梯度的优化，可收敛至驻点，并达到标准贝叶斯优化的遗憾边界，且在具有离散和混合搜索空间的真实问题上优于现有方法。

ABSTRACT

Optimizing expensive-to-evaluate black-box functions of discrete (and potentially continuous) design parameters is a ubiquitous problem in scientific and engineering applications. Bayesian optimization (BO) is a popular, sample-efficient method that leverages a probabilistic surrogate model and an acquisition function (AF) to select promising designs to evaluate. However, maximizing the AF over mixed or high-cardinality discrete search spaces is challenging standard gradient-based methods cannot be used directly or evaluating the AF at every point in the search space would be computationally prohibitive. To address this issue, we propose using probabilistic reparameterization (PR). Instead of directly optimizing the AF over the search space containing discrete parameters, we instead maximize the expectation of the AF over a probability distribution defined by continuous parameters. We prove that under suitable reparameterizations, the BO policy that maximizes the probabilistic objective is the same as that which maximizes the AF, and therefore, PR enjoys the same regret bounds as the original BO policy using the underlying AF. Moreover, our approach provably converges to a stationary point of the probabilistic objective under gradient ascent using scalable, unbiased estimators of both the probabilistic objective and its gradient. Therefore, as the number of starting points and gradient steps increase, our approach will recover of a maximizer of the AF (an often-neglected requisite for commonly used BO regret bounds). We validate our approach empirically and demonstrate state-of-the-art optimization performance on a wide range of real-world applications. PR is complementary to (and benefits) recent work and naturally generalizes to settings with multiple objectives and black-box constraints.

研究动机与目标

• 解决在高基数或混合离散-连续搜索空间中进行贝叶斯优化时，标准梯度方法失效的获取函数优化挑战。
• 开发一种方法，实现获取函数的高效、可扩展优化，而无需对离散配置进行穷举枚举。
• 证明通过重参数化最大化概率目标可获得与原始获取函数最大化相同的最优策略，从而保持理论遗憾边界。
• 通过实证结果证明，该方法在具有离散和混合参数的真实黑箱优化问题上实现了最先进的性能。
• 通过不依赖于离散变量上的核函数选择，确保与现有贝叶斯优化框架（包括多目标、约束和信任域方法）的兼容性。

提出的方法

• 将离散参数重参数化为连续概率分布，将离散优化问题转化为在概率单纯形上的连续优化问题。
• 将概率目标（PO）定义为获取函数在重参数化离散分布上的期望。
• 推导出概率目标及其关于概率参数梯度的无偏、可扩展的蒙特卡洛估计器。
• 使用这些估计器进行随机梯度上升，其收敛性可被严格证明，收敛至概率目标表面的驻点。
• 证明概率目标的极大值点与原始获取函数的极大值点完全一致，从而确保策略和遗憾边界的等价性。
• 将该方法集成至标准贝叶斯优化流程中，支持对离散变量使用任意核函数，包括类别型、嵌入式和独热编码表示。

实验结果

研究问题

• RQ1 我们能否通过概率重参数化，将离散和混合空间上的获取函数最大化问题重新表述为连续优化问题？
• RQ2 在离散选择的概率分布上优化期望获取函数，是否能保持标准贝叶斯优化的理论遗憾边界？
• RQ3 随着迭代次数和初始点数量的增加，对重参数化目标进行的随机梯度上升能否收敛至原始获取函数的全局最大值点？
• RQ4 在真实世界的离散和混合优化任务中，概率重参数化的性能与现有方法（如进化算法和无梯度优化）相比如何？
• RQ5 所提出的方法是否与广泛的概率模型和离散参数上的核函数兼容，包括不可微或离散输入的核函数？

主要发现

• 概率重参数化使基于梯度的优化在离散和混合空间上成为可能，克服了标准梯度方法与离散变量不兼容的问题。
• 该方法可证明收敛至概率目标的驻点，且在足够多的迭代和初始点下，能恢复原始获取函数的全局最大值点。
• 实证结果表明，PR 在包括焊接梁设计和化学反应产率优化在内的多样化真实问题中均实现了最先进的优化性能。
• PR 在对数遗憾指标上显著优于进化算法 PortfolioDiscreteOnePlusOne，尽管其实际运行时间更长。
• 该方法对离散参数上的核函数选择保持无关性，支持类别型、嵌入式和独热编码核函数，具有广泛适用性。
• 使用 Adam 优化器和蒙特卡洛梯度估计器的随机优化，始终优于确定性优化和采用学习率衰减的随机梯度上升。