[论文解读] Multi-Fidelity Methods for Optimization: A Survey

Ke Li, Fan Li|arXiv (Cornell University)|Feb 15, 2024

Metaheuristic Optimization Algorithms Research被引用 7

一句话总结

对多保真优化（MFO）的全面综述，结合一种新的文本挖掘框架以及对代理模型、保真度管理与优化器的系统分析，概述应用与未来挑战。

ABSTRACT

Real-world black-box optimization often involves time-consuming or costly experiments and simulations. Multi-fidelity optimization (MFO) stands out as a cost-effective strategy that balances high-fidelity accuracy with computational efficiency through a hierarchical fidelity approach. This survey presents a systematic exploration of MFO, underpinned by a novel text mining framework based on a pre-trained language model. We delve deep into the foundational principles and methodologies of MFO, focusing on three core components -- multi-fidelity surrogate models, fidelity management strategies, and optimization techniques. Additionally, this survey highlights the diverse applications of MFO across several key domains, including machine learning, engineering design optimization, and scientific discovery, showcasing the adaptability and effectiveness of MFO in tackling complex computational challenges. Furthermore, we also envision several emerging challenges and prospects in the MFO landscape, spanning scalability, the composition of lower fidelities, and the integration of human-in-the-loop approaches at the algorithmic level. We also address critical issues related to benchmarking and the advancement of open science within the MFO community. Overall, this survey aims to catalyze further research and foster collaborations in MFO, setting the stage for future innovations and breakthroughs in the field.

研究动机与目标

• 提供对多保真优化（MFO）及其关键组成部分的全面概览。
• 引入一个文本挖掘框架来映射MFO文献并识别趋势。
• 对多保真代理模型及保真度管理策略进行分类与分析。
• 总结MFO中使用的优化技术，重点放在贝叶斯优化与代理辅助方法。
• 讨论MFO中的基准、应用、挑战及未来方向。

提出的方法

• 开发一个闭环文本挖掘框架，使用预训练语言模型来整理并分析1998–2023年的1,242篇MFO文章。
• 应用 BERTopic (Sentence-BERT, UMAP, HDBSCAN, TF-IDF, KeyBERT) 提取23个主题并构建分类法。
• 对七种主要的多保真代理建模方法及其公式进行深入评述（单模型、空间映射、基于修正、AR1、多任务高斯过程、非线性分层、多保真PINNs）。
• 综述MFO的优化器，重点放在贝叶斯优化和代理辅助进化算法，以及保真度管理策略（固定与自适应）。
• 讨论基准开发及三个主要应用领域：超参数优化、工程设计与科学发现。

实验结果

研究问题

• RQ1 定义多保真优化的核心组成部分及其关系是什么？
• RQ2 如何对文献进行系统地映射，以揭示MFO中的趋势、刊物与地理贡献？
• RQ3 最常见的代理建模家族是什么，以及它们在不同保真关系中的优缺点是什么？
• RQ4 在MFO中，哪些优化策略和保真度管理方案最为有效？
• RQ5 MFO的主要应用、基准、挑战及未来方向是什么？

主要发现

• 作者确定了七大类多保真代理模型（单模型、空间映射、基于修正、自回归 AR1、多任务高斯过程、非线性分层、以及多保真 PINNs）。
• 对1,242篇论文（1998–2023）的文本挖掘显示MFO活跃度上升，Structural and Multidisciplinary Optimization为领先刊物，USA/China/Europe为主要地区。
• 出现23个不同主题，‘model and optimization’为最活跃主题，三个主要应用领域：工程设计、ML超参数优化、以及科学发现。
• 贝叶斯优化（BO）和代理辅助进化算法（SAEA）是MFBO的核心，另有用于超参数任务的Bandit优化作为补充。
• 没有一种代理方法能在所有问题上占据统治地位（没有免费午餐），强调需要针对具体问题选择方法。
• 该综述讨论了可扩展性、保真度组成、人机交互、基准测试以及MFO中的开放科学等挑战。