[论文解读] Multi-Fidelity Bayesian Optimization via Deep Neural Networks

Shibo Li, Wei Xing+2 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Multi-Objective Optimization Algorithms被引用 4

一句话总结

该论文提出深度神经网络多保真度贝叶斯优化（DNN-MFBO），一种利用深度神经网络建模黑箱目标函数在多个保真度水平下复杂非线性相关性的方法。通过将保真度相关的高斯-埃尔米特积分与矩匹配技术整合到基于互信息的采集函数中，DNN-MFBO 实现了高效且精确的优化，计算成本更低，在合成数据和真实世界工程基准测试中优于现有方法。

ABSTRACT

Bayesian optimization (BO) is a popular framework to optimize black-box functions. In many applications, the objective function can be evaluated at multiple fidelities to enable a trade-off between the cost and accuracy. To reduce the optimization cost, many multi-fidelity BO methods have been proposed. Despite their success, these methods either ignore or over-simplify the strong, complex correlations across the fidelities, and hence can be inefficient in estimating the objective function. To address this issue, we propose Deep Neural Network Multi-Fidelity Bayesian Optimization (DNN-MFBO) that can flexibly capture all kinds of complicated relationships between the fidelities to improve the objective function estimation and hence the optimization performance. We use sequential, fidelity-wise Gauss-Hermite quadrature and moment-matching to fulfill a mutual information-based acquisition function, which is computationally tractable and efficient. We show the advantages of our method in both synthetic benchmark datasets and real-world applications in engineering design.

研究动机与目标

• 解决现有多保真度贝叶斯优化方法在简化或忽略不同保真度级别之间复杂相关性方面的局限性。
• 通过利用深度神经网络捕捉多保真度水平间复杂非线性关系，提高目标函数估计的准确性。
• 开发一种计算高效的采集函数，保持可处理性的同时利用互信息实现主动学习。
• 通过有效权衡评估成本与保真度精度，在黑箱函数优化中降低优化成本。
• 在合成基准与真实世界工程设计问题上，相比最先进方法，展示出更优的性能。

提出的方法

• 提出一种深度神经网络架构，用于建模低保真度与高保真度目标函数之间的联合关系，捕捉复杂非线性依赖关系。
• 采用保真度相关的顺序高斯-埃尔米特积分，近似基于互信息的采集函数中的期望值，实现可处理的优化。
• 引入矩匹配技术，高效计算多保真度下目标函数的后验均值与方差。
• 设计基于互信息的采集函数，平衡探索与利用，同时考虑保真度特定的不确定性。
• 采用分层贝叶斯模型结合深度神经网络，联合建模多保真度下目标函数的均值与协方差结构。
• 应用顺序优化策略，基于采集函数选择下一个评估点，迭代优化模型。

实验结果

研究问题

• RQ1 深度神经网络能否有效建模多保真度贝叶斯优化中低保真度与高保真度评估之间的复杂非线性相关性？
• RQ2 与现有多保真度贝叶斯优化方法相比，所提出的 DNN-MFBO 方法在收敛速度与最终解质量方面表现如何？
• RQ3 保真度相关的高斯-埃尔米特积分与矩匹配技术在不牺牲准确性的情况下，能在多大程度上提升计算效率？
• RQ4 DNN-MFBO 中基于互信息的采集函数是否相比标准采集函数带来更优的探索-利用权衡？
• RQ5 DNN-MFBO 是否能在多样化的实际工程设计问题中泛化，同时保持稳健性能？

主要发现

• 在具有复杂非线性保真度关系的合成基准函数上，DNN-MFBO 的收敛速度更快，解的质量更高，优于基线多保真度贝叶斯优化方法。
• 该方法通过有效利用低保真度评估指导高保真度优化，显著降低了计算成本，减少了昂贵的高保真度评估次数。
• 实证结果表明，使用深度神经网络建模保真度相关性，相比线性或核基模型，能实现更精确的目标函数估计。
• 采用保真度相关的高斯-埃尔米特积分与矩匹配技术，实现了采集函数的高效计算，在高维输入下仍保持可扩展性。
• 在真实世界工程设计应用中，DNN-MFBO 在更少评估次数下找到最优设计，优于现有方法，证实了其实际应用价值。
• DNN-MFBO 中基于互信息的采集函数能更有效地探索搜索空间，尤其在多保真度下不确定性较高的区域。