[논문 리뷰] A support vector regression-based multi-fidelity surrogate model

Maolin Shi, Shuo Wang외 3명|arXiv (Cornell University)|2019. 06. 22.

Advanced Multi-Objective Optimization Algorithms참고 문헌 21인용 수 7

한 줄 요약

이 논문은 고정밀도(HF) 및 저정밀도(LF) 시뮬레이션 데이터를 융합하기 위해 지지 벡터 회귀를 활용하는 새로운 다중 정밀도 대체 모델인 Co_SVR를 제안한다. 커널 함수를 통해 HF 및 LF 모델 간의 오차를 매핑하고 히우리스틱 알고리즘으로 매개변수를 최적화함으로써, 수치 벤치마크와 압력 용기 설계 사례에서 Co_Kriging, Co_RBF 및 단일 정밀도 모델에 비해 뛰어난 예측 정확도를 달성한다.

ABSTRACT

Computational simulations with different fidelity have been widely used in engineering design. A high-fidelity (HF) model is generally more accurate but also more time-consuming than an low-fidelity (LF) model. To take advantages of both HF and LF models, multi-fidelity surrogate models that aim to integrate information from both HF and LF models have gained increasing popularity. In this paper, a multi-fidelity surrogate model based on support vector regression named as Co_SVR is developed by combining HF and LF models. In Co_SVR, a kernel function is used to map the map the difference between the HF and LF models. Besides, a heuristic algorithm is used to obtain the optimal parameters of Co_SVR. The proposed Co_SVR is compared with two popular multi-fidelity surrogate models Co_Kriging model, Co_RBF model, and their single-fidelity surrogates through several numerical cases and a pressure vessel design problem. The results show that Co_SVR provides competitive prediction accuracy for numerical cases, and presents a better performance compared with the Co_Kriging and Co_RBF models and single-fidelity surrogate models.

연구 동기 및 목표

• 고정밀도 및 저정밀도 시뮬레이션을 통합함으로써 보다 정확하고 효율적인 대체 모델링 기법을 개발하기 위해.
• Co_Kriging 및 Co_RBF와 같은 기존의 다중 정밀도 모델이 정밀도 수준 간의 복잡한 비선형 관계를 다루는 데에 한계를 보이는 문제를 극복하기 위해.
• HF 및 LF 모델 간의 오차를 모델링하는 데 있어 지지 벡터 회귀의 구조적 이점 활용을 통해 예측 정확도를 향상시키기 위해.
• 제안된 모델을 합성 수치 사례와 실제 압력 용기 설계 문제에 대해 검증하기 위해.

제안 방법

• 고정밀도 및 저정밀도 시뮬레이션 출력 간의 오차를 모델링하기 위해 지지 벡터 회귀(SVR) 프레임워크를 채택한다.
• 입력 공간을 매핑하고 HF 및 LF 모델 반응 간의 비선형 관계를 포착하기 위해 커널 함수를 적용한다.
• 정규화 및 커널 매개변수를 포함한 Co_SVR 모델의 최적 하이퍼파라미터를 결정하기 위해 히우리스틱 최적화 알고리즘을 사용한다.
• HF 및 LF 데이터를 모두 사용하여 모델을 훈련시키며, 학습된 오차 함수를 통해 LF 예측을 보정하기 위해 HF 데이터를 활용한다.
• SVR의 일반화 능력을 활용하여 노이즈가 많거나 희소한 HF 데이터에 대해서도 안정적인 성능을 유지하도록 설계된다.
• 교차 검증 및 오차 지표를 사용하여 Co_Kriging, Co_RBF 및 단일 정밀도 SVR 대체 모델과 비교한다.

실험 결과

연구 질문

• RQ1 지지 벡터 회귀 기반의 다중 정밀도 모델은 Co_Kriging 및 Co_RBF와 같은 기존 방법보다 더 높은 예측 정확도를 달성할 수 있는가?
• RQ2 복잡한 엔지니어링 문제에서 다수의 정밀도 수준 데이터를 통합할 때 제안된 Co_SVR 모델은 어떻게 성능을 발휘하는가?
• RQ3 커널 함수 선택 및 매개변수 조정은 다중 정밀도 대체 모델의 정확도와 견고성에 어떤 영향을 미치는가?
• RQ4 제한된 고정밀도 데이터가 존재할 경우에도 제안된 모델은 높은 정확도를 유지하는가?

주요 결과

• Co_SVR는 여러 수치 테스트 케이스에서 경쟁적인 예측 정확도를 달성하며, Co_Kriging 및 Co_RBF 모델을 모두 능가한다.
• 압력 용기 설계 문제에서 Co_SVR은 Co_Kriging, Co_RBF 및 단일 정밀도 대체 모델보다 뛰어난 성능을 보였다.
• 히우리스틱 매개변수 최적화 전략이 Co_SVR 모델의 일반화 능력과 정확도를 효과적으로 향상시켰다.
• HF-LF 오차를 모델링하기 위해 커널 함수를 사용함으로써 선형 보정 방법보다 더 나은 비선형 추세 포착 능력을 확보할 수 있었다.
• Co_SVR는 희소한 고정밀도 데이터에 대해서도 견고성을 보이며, 다른 모델이 성능 저하를 보일 때도 높은 정확도를 유지했다.