[논문 리뷰] Multi-Fidelity Surrogate Based on Single Linear Regression

Yiming Zhang, Nam‐Ho Kim외 2명|arXiv (Cornell University)|2017. 05. 08.

Advanced Multi-Objective Optimization Algorithms참고 문헌 7인용 수 6

한 줄 요약

이 논문은 단일 선형 회귀를 사용하여 저신뢰도 및 고신뢰도 데이터를 조합하는 최소제곱 다신뢰도 대체 모델(LS-MFS)을 제안한다. 고신뢰도 반응은 저신뢰도 예측과 다항식 기반의 오차 함수의 선형 조합으로 모델링된다. 이 방법은 반복적 하이퍼파rameter 최적화가 필요 없이 고유하고 효율적인 매개변수 추정을 보장하여, 노이즈가 있는 환경에서 기존 Kriging보다 더 높은 정확도를 확보한 설계 최적화 및 불확실성 정량화 응용 분야에 있어 강력하고 확장 가능한 성능을 제공한다.

ABSTRACT

Various frameworks have been proposed to predict mechanical system responses by combining data from different fidelities for design optimization and uncertainty quantification as reviewed by Fernández-Godino et al. and Peherstorfer et al.. Among all frameworks, the Bayesian framework based on Gaussian processes has the potential of highest accuracy. However, the Bayesian framework requires optimization for estimating hyper-parameters, and there is a risk of estimating inappropriate hyper-parameters as Kriging surrogate often does, especially in the presence of noisy data. We propose an easy and yet powerful framework for practical design and applications. In this technical note, we revised a heuristic framework which minimizes the prediction errors at high-fidelity samples using optimization. The system behavior (high-fidelity behavior) is approximated by a linear combination of the low-fidelity predictions and a polynomial-based discrepancy function. The key idea is to consider the low-fidelity model as a basis function in the multi-fidelity model with the scale factor as a regression coefficient. The design matrix for least-square estimation consists of both the low-fidelity model and discrepancy function. Then the scale factor and coefficients of the basis functions are obtained simultaneously using linear regression, which guarantees the uniqueness of fitting process. Besides enabling efficient estimation of the parameters, the proposed least-squares multi-fidelity surrogate (LS-MFS) can be applicable to other regression models by simply replacing the design matrix. Therefore, the LS-MFS is expected to be easily applied to various applications such as prediction variance, D-optimal designs, uncertainty propagation and design optimization.

연구 동기 및 목표

• 베이지안 방법에서 하이퍼파rameter 최적화의 문제점을 피하는 실용적이고 안정적인 다신뢰도 대체 모델 프레임워크를 개발하는 것.
• 특히 하이퍼파rameter 추정이 부정확할 경우 Kriging 대체 모델이 실패하는 상황에서 노이즈가 있는 데이터에서의 예측 정확도를 향상시키는 것.
• 저신뢰도 모델과 오차 함수를 기저 함수로 사용하는 최소제곱 회귀 방법을 통해 고유하고 효율적인 매개변수 추정을 실현하는 것.
• 설계 행렬을 단순히 수정하기만 하면 다양한 회귀 모델에 적용 가능한 융통성 있는 프레임워크를 만드는 것.
• 공 ing 설계 워크플로우에서 불확실성 정량화, 설계 최적화 및 분산 예측을 지원하는 것.

제안 방법

• 고신뢰도 반응은 저신뢰도 예측과 다항식 기반의 오차 함수의 선형 조합으로 모델링된다.
• 최소제곱 추정을 위한 설계 행렬은 저신뢰도 모델 출력과 오차 항의 기저 함수를 포함한다.
• 저신뢰도 데이터의 스케일 요소와 오차 함수의 계수를 나타내는 회귀 계수들이 동시에 선형 회귀를 통해 추정된다.
• 최소제곱 문제의 볼록성과 선형성 덕분에 고유한 해를 보장하며, 반복 최적화에서 발생할 수 있는 수렴 문제를 피할 수 있다.
• 이 프레임워크는 일반화 가능하다: 설계 행렬을 교체하기만 하면 선형 회귀를 초월한 다른 회귀 모델에 적용할 수 있다.
• 예측 오차를 최소화하기 위해 이 방법은 고신뢰도 샘플 지점에 직접 적용된다.

실험 결과

연구 질문

• RQ1 반복적 하이퍼파rameter 최적화 없이도 안정적이고 고유한 해를 보장하는 다신뢰도 대체 모델을 구축할 수 있는가?
• RQ2 노이즈가 있는 데이터 조건에서 제안된 최소제곱 방법은 Kriging에 비해 정확도와 강건성 면에서 어떻게 비교되는가?
• RQ3 설계 행렬만 수정하면 다른 회귀 모델로도 일반화할 수 있는가?
• RQ4 저신뢰도 데이터와 함께 다항식 오차 함수를 사용하면 고신뢰도 반응 예측 정확도가 향상되는가?
• RQ5 이 방법이 불확실성 전파 및 D-최적 설계와 같은 후속 응용 분야에서 얼마나 효과적으로 기여할 수 있는가?

주요 결과

• 제안된 최소제곱 다신뢰도 대체 모델(LS-MFS)은 회귀 문제의 볼록성과 선형성 덕분에 고유한 해를 보장한다.
• 특히 노이즈가 많은 데이터 조건에서 흔히 발생하는 Kriging의 나쁜 하이퍼파rameter 추정 위험을 피할 수 있다.
• 반복 최적화가 필요 없이 효율적인 매개변수 추정이 가능하여 계산 효율성이 향상된다.
• 설계 행렬을 교체하기만 하면 다양한 회귀 모델에 적용 가능한 프레임워크로, 유연성이 높아진다.
• 기준 비교를 통해 노이즈가 있는 상황에서 기존 Kriging보다 더 높은 예측 정확도를 확보하였다.
• 강건성과 단순성 덕분에 설계 최적화, 불확실성 정량화, 분산 예측 등 실용적 응용에 적합하다.