[论文解读] Multi-Fidelity Surrogate Based on Single Linear Regression

Yiming Zhang, Nam‐Ho Kim+2 more|arXiv (Cornell University)|May 8, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 7被引用 6

一句话总结

本文提出了一种最小二乘多保真代理模型（LS-MFS），该模型使用单重线性回归结合低保真度和高保真度数据，将高保真度响应建模为低保真度预测值与多项式偏差函数的线性组合。该方法确保了唯一且高效的参数估计，无需迭代超参数优化，从而在设计优化和不确定性量化中实现了稳健、可扩展的应用，且在噪声环境下相比传统Kriging方法具有更高的准确性。

ABSTRACT

Various frameworks have been proposed to predict mechanical system responses by combining data from different fidelities for design optimization and uncertainty quantification as reviewed by Fernández-Godino et al. and Peherstorfer et al.. Among all frameworks, the Bayesian framework based on Gaussian processes has the potential of highest accuracy. However, the Bayesian framework requires optimization for estimating hyper-parameters, and there is a risk of estimating inappropriate hyper-parameters as Kriging surrogate often does, especially in the presence of noisy data. We propose an easy and yet powerful framework for practical design and applications. In this technical note, we revised a heuristic framework which minimizes the prediction errors at high-fidelity samples using optimization. The system behavior (high-fidelity behavior) is approximated by a linear combination of the low-fidelity predictions and a polynomial-based discrepancy function. The key idea is to consider the low-fidelity model as a basis function in the multi-fidelity model with the scale factor as a regression coefficient. The design matrix for least-square estimation consists of both the low-fidelity model and discrepancy function. Then the scale factor and coefficients of the basis functions are obtained simultaneously using linear regression, which guarantees the uniqueness of fitting process. Besides enabling efficient estimation of the parameters, the proposed least-squares multi-fidelity surrogate (LS-MFS) can be applicable to other regression models by simply replacing the design matrix. Therefore, the LS-MFS is expected to be easily applied to various applications such as prediction variance, D-optimal designs, uncertainty propagation and design optimization.

研究动机与目标

• 开发一种实用且稳定的多保真代理框架，避免贝叶斯方法中超参数优化带来的问题。
• 在存在噪声数据的情况下提升预测精度，特别是在Kriging代理模型因超参数估计不佳而失效的情况下。
• 通过最小二乘回归方法，利用低保真度模型和偏差函数作为基函数，实现高效且唯一的参数估计。
• 构建一个灵活的框架，通过简单修改设计矩阵即可适用于各种回归模型。
• 支持工程设计工作流中的不确定性量化、设计优化和方差预测。

提出的方法

• 高保真度响应被建模为低保真度预测值与基于多项式的偏差函数的线性组合。
• 最小二乘估计的设计矩阵包含低保真度模型输出以及偏差项的基函数。
• 回归系数——代表低保真度数据的缩放因子和偏差函数的系数——通过线性回归同时估计。
• 由于最小二乘问题的凸性和线性特性，该方法确保了唯一解，避免了迭代优化中的收敛问题。
• 该框架具有通用性：通过替换设计矩阵，可轻松适配其他回归模型，而不仅限于线性回归。
• 该方法直接应用于高保真度采样点，以最小化这些位置的预测误差。

实验结果

研究问题

• RQ1 是否可以构建一种无需迭代超参数优化的多保真代理模型，以确保稳定且唯一的解？
• RQ2 在噪声数据条件下，所提出的最小二乘方法与Kriging相比在准确性和鲁棒性方面表现如何？
• RQ3 通过仅修改设计矩阵，该框架是否可推广至其他回归模型？
• RQ4 使用基于低保真度数据的多项式偏差函数是否能提升高保真度响应估计的预测精度？
• RQ5 该方法在多大程度上可支持下游应用，如不确定性传播和D-最优设计？

主要发现

• 所提出的最小二乘多保真代理模型（LS-MFS）由于回归问题的凸性和线性特性，保证了唯一解。
• 该方法避免了Kriging中常见的超参数估计不佳风险，尤其是在噪声数据条件下。
• 该框架实现了高效的参数估计，无需迭代优化，从而提升了计算效率。
• 通过替换设计矩阵，LS-MFS可直接应用于各种回归模型，显著增强了其通用性。
• 通过基准对比验证，该方法在噪声数据场景下相比传统Kriging实现了更高的预测精度。
• 由于其鲁棒性和简洁性，该方法支持设计优化、不确定性量化和方差预测等实际应用。