[논문 리뷰] Multi-fidelity modeling with different input domain definitions using Deep Gaussian Processes

Ali Hebbal, Loïc Brevault외 3명|arXiv (Cornell University)|2020. 06. 29.

Probabilistic and Robust Engineering Design참고 문헌 57인용 수 47

한 줄 요약

논문은 다중 적합성 딥 가우시안 프로세스(MF-DGP)를 서로 다른 fidelities 간의 입력 공간 차이를 다루도록 확장하여 MF-DGP 내에 비모수적 베이지안 입력 매핑을 내재화(MF-DGP-EM)함으로써 공동 최적화와 불확실성 정량화를 가능하게 한다. 이는 표준 MF-DGP 및 공간 매핑 접근법과 비교하여 분석적 및 물리적 문제에서 예측 정확도 및 불확실성 처리 성능이 향상됨을 보여준다.

ABSTRACT

Multi-fidelity approaches combine different models built on a scarce but accurate data-set (high-fidelity data-set), and a large but approximate one (low-fidelity data-set) in order to improve the prediction accuracy. Gaussian Processes (GPs) are one of the popular approaches to exhibit the correlations between these different fidelity levels. Deep Gaussian Processes (DGPs) that are functional compositions of GPs have also been adapted to multi-fidelity using the Multi-Fidelity Deep Gaussian process model (MF-DGP). This model increases the expressive power compared to GPs by considering non-linear correlations between fidelities within a Bayesian framework. However, these multi-fidelity methods consider only the case where the inputs of the different fidelity models are defined over the same domain of definition (e.g., same variables, same dimensions). However, due to simplification in the modeling of the low-fidelity, some variables may be omitted or a different parametrization may be used compared to the high-fidelity model. In this paper, Deep Gaussian Processes for multi-fidelity (MF-DGP) are extended to the case where a different parametrization is used for each fidelity. The performance of the proposed multifidelity modeling technique is assessed on analytical test cases and on structural and aerodynamic real physical problems.

연구 동기 및 목표

• HF와 LF 모델이 서로 다른 입력 매개변수화 또는 차원을 가질 수 있다는 한계를 동기화하고 다루기.
• 비모수적 베이지안 프레임워크에서 입력 공간 매핑과 다중 적합성 관계를 공동으로 학습하도록 MF-DGP-EM을 개발합니다.
• 입력 공간 상의 상관관계를 보존하면서 교차 적합성 정보 전달을 가능하게 합니다.
• 분석적 및 실제 물리 문제(구조 및 공기역학 문제)에서 접근법을 평가하고 기존 방법과 비교합니다.

제안 방법

• 각 레이어가 하나의 적합성을 나타내고, 연속 입력 공간 간의 매핑 GP를 가진 두 레벨의 딥 가우시안 프로세스로 MF-DGP-EM을 형식화합니다.
• nominal 매핑 HF 데이터를 조건으로 하는 다출력 입력 매핑 GP를 도입하여 HF 입력을 LF 입력으로 변환합니다.
• kl(x(i), x(j)) = kρ_l(x(i), x(j)) × kf−1_l(f∗−1_l(x(i)), f∗−1_l(x(j))) + kγ_l(x(i), x(j))와 같이 입력 매핑을 MF-DGP 공분산에 반영합니다.
• 각 레이어당 유도 입력을 사용하고 변분(doubly stochastic) ELBO 목적함수를 사용하여 모델을 학습합니다.
• 가변 파라미터에 대해서 자연경사( Natural-gradient) 스텝을, 초모수(hyperparameters)에 대해서는 확률적 경사(Stochastic gradient) 스텝을 채택합니다; 유도 입력은 (13)와 같이 이전 레이어 예측에 의존하도록 제한합니다.
• 새로운 포인트에서 1단계로 낮은 충실도 예측을 얻고, 그 다음 2단계로 다중 충실도 예측을 얻기 위해 propagate합니다.

실험 결과

연구 질문

• RQ1 MF-DGP를 어떻게 확장하여 fidelities 간의 서로 다른 입력 공간 매개변화를 다룰 수 있는가?
• RQ2 MF-DGP에 내재된 비모수적 베이지안 입력 매핑이 입력 공간이 다를 때 예측 정확도와 불확실성 정량화를 개선할 수 있는가?
• RQ3 입력 매핑과 MF-DGP를 공동으로 학습하는 것이 고정 매핑 또는 표준 MF-DGP에 비해 예측 성능에 어떤 영향을 주는가?
• RQ4 MF-DGP-EM은 MF-DGP 및 공간 매핑 기준선과 비교하여 분석적 및 실제 구조/항공 다중 적합성 문제에서 어떻게 성능을 발휘하는가?

주요 결과

• MF-DGP-EM은 서로 다른 입력 공간을 갖는 역할에서 MF-DGP보다 예측 및 불확실성 정량화를 향상시켰다(예: RMSE 0.077 대 0.255; MNLL −1.921 대 0.231 등 비교 사례에서).
• MF-DGP-EM 접근법은 HF 데이터 세트 크기에 따라 강건한 성능을 보이며 다양한 설정에서 편향 보정 및 GP-HF 기준선을 능가한다.
• 입력 데이터의 수가 달라지는 문제 1에서 MF-DGP-EM은 HF 데이터 포인트 분포별로 GP-HF 및 BC보다 RMSE 및 MNLL이 더 우수하여 DoE 변화에 강건함을 보인다.
• 문제 2에서 HF 데이터 크기가 증가함에 따라 MF-DGP-EM은 일반적으로 RMSE 및 불확실성 정량화를 개선하고 대부분의 시나리오에서 BC 및 GP-HF를 능가했다.
• 이 접근법은 비모수 매핑과 원래 입력 공간의 상관관계를 유지하는 MF-DGP 모델의 동시 최적화를 가능하게 한다.