[论文解读] Multi-fidelity Bayesian Optimization with Max-value Entropy Search and its parallelization

Shion Takeno, Hitoshi Fukuoka+5 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 37被引用 23

一句话总结

本文提出多保真度最大值熵搜索（MF-MES），一种基于信息论的贝叶斯优化方法，通过聚焦于最优函数值 $f_*$ 而非输入 $m{x}_*$ 来高效计算信息增益，将复杂积分简化为一维数值积分。该方法实现了精确、可扩展且可并行化的多保真度优化，计算开销极低，在基准函数和材料科学数据上均得到验证。

ABSTRACT

In a standard setting of Bayesian optimization (BO), the objective function evaluation is assumed to be highly expensive. Multi-fidelity Bayesian optimization (MFBO) accelerates BO by incorporating lower fidelity observations available with a lower sampling cost. In this paper, we focus on the information-based approach, which is a popular and empirically successful approach in BO. For MFBO, however, existing information-based methods are plagued by difficulty in estimating the information gain. We propose an approach based on max-value entropy search (MES), which greatly facilitates computations by considering the entropy of the optimal function value instead of the optimal input point. We show that, in our multi-fidelity MES (MF-MES), most of additional computations, compared with usual MES, is reduced to analytical computations. Although an additional numerical integration is necessary for the information across different fidelities, this is only in one dimensional space, which can be performed efficiently and accurately. Further, we also propose parallelization of MF-MES. Since there exist a variety of different sampling costs, queries typically occur asynchronously in MFBO. We show that similar simple computations can be derived for asynchronous parallel MFBO. We demonstrate effectiveness of our approach by using benchmark datasets and a real-world application to materials science data.

研究动机与目标

• 解决多保真度贝叶斯优化（MFBO）中估计信息增益的计算挑战，现有基于信息的方法在计算上复杂且依赖近似。
• 通过将关注点从最优输入 $\bm{x}_*$ 转向最优函数值 $f_*$，克服在多保真度下信息增益估计的困难，后者为一维且更易处理。
• 开发一种方法，实现 MFBO 中可靠、高效且可解析处理的信息增益计算，无需依赖启发式近似。
• 将所提方法扩展至支持异步并行评估，这是现实世界 MFBO 中常见的情形，因不同查询的采样成本各异。
• 在合成基准测试和真实世界材料科学应用（涉及析出相形状预测模型的参数优化）中，验证 MF-MES 的有效性。

提出的方法

• 提出多保真度最大值熵搜索（MF-MES），以最优函数值 $f_* = \max_{\bm{x}} f(\bm{x})$ 的熵作为获取函数准则，相比传统聚焦于 $\bm{x}_*$ 的方法，简化了信息增益的计算。
• 通过利用 $f_*$ 的一维特性，将 MF-MES 中的大部分额外计算转化为解析表达式，仅需一次一维数值积分即可完成跨保真度的信息增益计算。
• 应用变量代换技术，将 MF-MES 扩展至异步并行设置，即使查询未同步，也能实现可靠的信息增益估计。
• 采用高斯过程回归（GPR）并结合多保真核结构（如协同区域化线性模型或随机特征映射）对不同保真度下的目标函数进行建模。
• 使用标准优化技术实现获取函数最大化，计算效率通过解析推导和低维数值积分进一步提升。
• 将该方法集成到顺序与并行优化循环中，每次新查询均基于对 $f_*$ 的信息增益期望进行选择，从而实现全局效用，且无需探索-利用权衡参数。

实验结果

研究问题

• RQ1 通过聚焦于最优函数值 $f_*$ 而非最优输入 $\bm{x}_*$，是否能更高效、更准确地计算多保真度贝叶斯优化中的信息增益？
• RQ2 在 MFBO 中，解析表达式在多大程度上能降低信息增益估计的计算负担，尤其与现有基于 EP 的 PES 近似方法相比？
• RQ3 所提出的 MF-MES 框架能否扩展以支持异步并行评估，即在不同保真度下的查询以不同时间处理？
• RQ4 在基准数据集和真实世界数据集上，MF-MES 与现有 MFBO 方法（如 MF-PES、BOCA、MFSKO 和 AsyTS）相比，在优化性能和计算效率方面表现如何？
• RQ5 在涉及多保真度水平的昂贵模拟材料科学应用中，MF-MES 是否能实现更高的优化精度和样本效率？

主要发现

• 尽管 MF-PES 专为速度设计，但 MF-MES 在获取函数最大化方面显著快于 MF-PES，后者依赖计算昂贵的期望传播（EP）近似。
• MF-MES 的计算成本主要来自一次一维数值积分，该积分可使用标准求积技术高效且精确地计算。
• MF-MES 在基准函数（如 Styblinski-Tang 和 HartMann6）以及真实世界材料科学数据上表现出更优的优化性能，以更少的评估次数达到更低的目标函数值。
• MF-MES 的异步并行扩展通过将当前查询点纳入获取函数，保持了可靠的信息增益估计，从而高效利用异构计算资源。
• 在材料科学应用中，MF-MES 通过最小化模拟结果与实验观测析出相形状之间的差异，成功优化了两个材料参数（晶格失配和界面能）。
• 在收敛速度和最终解质量方面，MF-MES 显著优于基线方法如 BOCA、MFSKO 和 AsyTS，尤其在保真度较高且采样预算有限的情况下。