[论文解读] Black-Box Optimization with Local Generative Surrogates

S. Shirobokov, V. Belavin+3 more|arXiv (Cornell University)|Feb 11, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 58被引用 23

一句话总结

该论文提出局部生成代理优化（L-GSO），一种基于梯度的方法，用于优化黑箱、随机性、不可微分的模拟器，通过在参数空间邻域内训练深度生成模型作为局部代理。该方法实现了低方差梯度估计，并在收敛速度上优于贝叶斯优化、数值微分和得分函数估计器——尤其当模拟器参数位于低维子流形上时表现更优。

ABSTRACT

We propose a novel method for gradient-based optimization of black-box simulators using differentiable local surrogate models. In fields such as physics and engineering, many processes are modeled with non-differentiable simulators with intractable likelihoods. Optimization of these forward models is particularly challenging, especially when the simulator is stochastic. To address such cases, we introduce the use of deep generative models to iteratively approximate the simulator in local neighborhoods of the parameter space. We demonstrate that these local surrogates can be used to approximate the gradient of the simulator, and thus enable gradient-based optimization of simulator parameters. In cases where the dependence of the simulator on the parameter space is constrained to a low dimensional submanifold, we observe that our method attains minima faster than baseline methods, including Bayesian optimization, numerical optimization, and approaches using score function gradient estimators.

研究动机与目标

• 为解决物理和工程领域中常见的随机性、不可微分模拟器优化挑战，传统基于梯度的方法因似然函数难以计算而失效。
• 减少在高维参数空间中优化所需的昂贵模拟器调用次数。
• 改进现有基线方法，如贝叶斯优化、数值微分和得分函数估计器，这些方法存在高方差或收敛缓慢的问题。
• 在模拟器参数被限制在低维子流形时实现有效优化，通过局部代理建模实现高效探索。
• 提供一种可扩展、可并行化的优化方法，支持高曲率目标函数，并通过可微分生成模型保持低梯度方差。

提出的方法

• L-GSO 在参数空间中当前参数点的局部邻域内训练深度生成模型（如Cramer GAN）作为局部代理。
• 代理模型近似模拟器的随机输出分布 $ p(\mathbf{y}|\mathbf{x};\bm{\psi}) $，从而支持通过代理模型反向传播，以估计目标函数关于 $ \bm{\psi} $ 的梯度。
• 在每次优化步骤中，使用从当前 $ \bm{\psi} $ 周围邻域采样的少量模拟器调用，训练新的局部代理，相比全局建模显著降低计算成本。
• 该方法假设目标函数是连续且可微的，且 $ \bm{\psi} $ 为连续变量，必要时可将目标函数整合进代理模型中。
• 条件生成网络学习参数维度之间的相关性，并在采样点之间进行插值，从而在比数值微分更少的样本下实现有效的梯度估计。
• 优化过程迭代进行，使用局部代理的梯度更新 $ \bm{\psi} $，并在每个步骤在新的邻域内重新训练代理模型。

实验结果

研究问题

• RQ1 局部生成代理能否在最小化模拟器调用次数的前提下，实现对随机性、不可微分模拟器的有效基于梯度的优化？
• RQ2 与贝叶斯优化、数值微分和得分函数估计器相比，L-GSO 在收敛速度和解的质量方面表现如何？
• RQ3 当模拟器参数位于低维子流形上时，该方法是否能实现更优性能，如在真实物理和工程应用中常见的情形？
• RQ4 代理模型是否具备足够的泛化能力，以提供低方差的梯度估计，从而实现比高方差替代方法更快的收敛？
• RQ5 L-GSO 在多大程度上可扩展至高维参数空间，同时保持效率和准确性？

主要发现

• 在玩具问题和真实物理模拟中，L-GSO 在收敛速度和解的质量上均优于贝叶斯优化、数值微分和基于得分函数的方法。
• 在子流形问题中，L-GSO 使用远少于完整参数空间维度的参数点数训练每个代理时收敛最快，表明其有效学习了底层流形结构。
• 在使用 GEANT4 的高能物理磁体设计问题中，L-GSO 实现的目标函数值比先前的贝叶斯优化解低约 25%，且模拟器调用次数相近（约 5,000 次）。
• 经 L-GSO 优化的磁体设计比 BO 优化的设计更短更轻，表明其具有更高的实验有效性并降低了成本。
• 贝叶斯优化在多个子流形问题上未能收敛，而 L-GSO 始终成功，凸显其在复杂、低曲率参数景观中的鲁棒性。
• 该方法展示了低方差梯度估计、高维扩展能力，以及对高曲率目标函数表面的适用性，使其适用于复杂科学模拟器。