[论文解读] Multi-fidelity Bayesian Optimization with Max-value Entropy Search.

Shion Takeno, Hitoshi Fukuoka+5 more|arXiv (Cornell University)|Jan 24, 2019

Machine Learning and Data Classification被引用 18

一句话总结

本文提出了一种新颖的多保真度贝叶斯优化方法，采用最大值熵搜索（MES）以改进多保真度设置下的信息增益估计。通过仅需一维积分和采样的解析计算获取函数，实现了高效且准确的优化，在合成数据、基准数据集以及实际材料科学数据上均表现出优越性能。

ABSTRACT

Bayesian optimization (BO) is an effective tool for black-box optimization in which objective function evaluation is usually quite expensive. In practice, lower fidelity approximations of the objective function are often available. Recently, multi-fidelity Bayesian optimization (MFBO) has attracted considerable attention because it can dramatically accelerate the optimization process by using those cheaper observations. We propose a novel information theoretic approach to MFBO. Information-based approaches are popular and empirically successful in BO, but existing studies for information-based MFBO are plagued by difficulty for accurately estimating the information gain. Our approach is based on a variant of information-based BO called max-value entropy search (MES), which greatly facilitates evaluation of the information gain in MFBO. In fact, computations of our acquisition function is written analytically except for one dimensional integral and sampling, which can be calculated efficiently and accurately. We demonstrate effectiveness of our approach by using synthetic and benchmark datasets, and further we show a real-world application to materials science data.

研究动机与目标

• 解决现有基于信息论的多保真度贝叶斯优化（MFBO）方法中信息增益估计不准确的问题。
• 通过利用专为多保真度设置设计的熵搜索变体，提升多保真度优化的效率与准确性。
• 通过将计算复杂度降低至单个一维积分和采样，实现基于信息的MFBO的实际部署。
• 在合成数据集和真实世界数据集上验证该方法，特别是在材料科学应用中的表现。

提出的方法

• 提出最大值熵搜索（MES）的多保真度扩展，这是一种基于信息论的贝叶斯优化变体，可简化信息增益计算。
• 推导出一种获取函数，可实现对期望信息增益的解析评估，仅剩下一个一维积分。
• 使用蒙特卡洛采样近似剩余的一维积分，确保计算的高效性与准确性。
• 将低保真度函数评估结果整合到优化过程中，以加速收敛至全局最优解。
• 使用高斯过程对目标函数及其保真度级别建立概率模型。
• 通过优化获取函数，选择能使关于最优输入的期望信息增益最大化的下一个评估点。

实验结果

研究问题

• RQ1 最大值熵搜索能否被有效扩展至多保真度贝叶斯优化，以改善信息增益估计？
• RQ2 与现有MFBO方法相比，该方法在收敛速度和准确性方面表现如何？
• RQ3 该方法是否能仅通过单个一维积分和采样实现高效实现，从而支持实际部署？
• RQ4 该方法在真实世界材料科学优化任务中是否表现出优异性能？

主要发现

• 通过将MES重新表述为多保真度设置，该方法实现了准确的信息增益估计，计算复杂度降低至单个一维积分。
• 通过采样和解析表达式，可高效且准确地评估获取函数，使其适用于实际场景。
• 在合成数据集和基准数据集上的实证结果表明，与现有MFBO方法相比，该方法收敛更快，优化性能更优。
• 在一项真实世界材料科学应用中，该方法成功以更少的昂贵评估次数识别出高性能的材料组合。