[论文解读] A support vector regression-based multi-fidelity surrogate model

Maolin Shi, Shuo Wang+3 more|arXiv (Cornell University)|Jun 22, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 21被引用 7

一句话总结

本文提出了一种新型的多保真度代理模型 Co_SVR，该模型利用支持向量回归（SVR）融合高保真度（HF）和低保真度（LF）仿真数据。通过核函数映射 HF 与 LF 模型之间的差异，并采用启发式算法优化参数，Co_SVR 在数值基准测试和压力容器设计案例中，相比 Co_Kriging、Co_RBF 和单保真度模型，实现了更优的预测精度。

ABSTRACT

Computational simulations with different fidelity have been widely used in engineering design. A high-fidelity (HF) model is generally more accurate but also more time-consuming than an low-fidelity (LF) model. To take advantages of both HF and LF models, multi-fidelity surrogate models that aim to integrate information from both HF and LF models have gained increasing popularity. In this paper, a multi-fidelity surrogate model based on support vector regression named as Co_SVR is developed by combining HF and LF models. In Co_SVR, a kernel function is used to map the map the difference between the HF and LF models. Besides, a heuristic algorithm is used to obtain the optimal parameters of Co_SVR. The proposed Co_SVR is compared with two popular multi-fidelity surrogate models Co_Kriging model, Co_RBF model, and their single-fidelity surrogates through several numerical cases and a pressure vessel design problem. The results show that Co_SVR provides competitive prediction accuracy for numerical cases, and presents a better performance compared with the Co_Kriging and Co_RBF models and single-fidelity surrogate models.

研究动机与目标

• 通过整合高保真度和低保真度仿真，开发一种更准确且高效的代理建模方法，用于工程设计。
• 克服现有多保真度模型（如 Co_Kriging 和 Co_RBF）在处理保真度级别之间复杂非线性关系时的局限性。
• 通过利用支持向量回归在建模 HF 与 LF 模型之间差异方面的结构优势，提升预测精度。
• 在合成数值案例和真实世界的压力容器设计问题上验证所提出模型的有效性。

提出的方法

• 采用支持向量回归（SVR）框架，用于建模高保真度与低保真度仿真输出之间的差异。
• 应用核函数映射输入空间，以捕捉 HF 与 LF 模型响应之间的非线性关系。
• 使用启发式优化算法确定 Co_SVR 模型的最优超参数，包括正则化参数和核函数参数。
• 利用 HF 和 LF 数据联合训练模型，通过学习到的差异函数对 LF 预测结果进行校正。
• 该方法通过 SVR 的泛化能力，对噪声或稀疏的 HF 数据表现出鲁棒性。
• 通过交叉验证和误差指标，将该模型与 Co_Kriging、Co_RBF 及单保真度 SVR 代理模型进行对比。

实验结果

研究问题

• RQ1 基于支持向量回归的多保真度模型是否能在预测精度上优于 Co_Kriging 和 Co_RBF 等现有方法？
• RQ2 在复杂工程问题中，该 Co_SVR 模型在整合多保真度数据时表现如何？
• RQ3 核函数的选择与参数调优对多保真度代理模型的精度与鲁棒性有何影响？
• RQ4 当高保真度数据有限时，该模型是否仍能保持高精度？

主要发现

• Co_SVR 在多个数值测试案例中表现出具有竞争力的预测精度，优于 Co_Kriging 和 Co_RBF 模型。
• 在压力容器设计问题中，Co_SVR 表现出优于 Co_Kriging、Co_RBF 和单保真度代理模型的性能。
• 启发式参数优化策略有效提升了 Co_SVR 模型的泛化能力与预测精度。
• 通过核函数建模 HF-LF 差异，能够比线性校正方法更好地捕捉非线性趋势。
• Co_SVR 对稀疏高保真度数据表现出鲁棒性，在其他模型性能下降时仍能保持高精度。