[논문 리뷰] Multi-fidelity reduced-order surrogate modeling

Paolo Conti, Mengwu Guo외 4명|arXiv (Cornell University)|2023. 09. 01.

Model Reduction and Neural NetworksPhysics and Astronomy인용 수 3

한 줄 요약

이 논문은 고신뢰도 해를 구하기 위해 저신뢰도 데이터를 사용하는 다중 신뢰도 감소 차원 대체 모델을 제안한다. 이 모델은 고신뢰도 해를 예측하기 위해 적은 양의 고신뢰도 데이터와 풍부한 저신뢰도 데이터를 활용하며, 적절한 직교 분해(POD)와 다중 신뢰도 장기 단기 기억(LSTM) 네트워크를 조합한다. 저신뢰도 상태에서 고신뢰도 상태로의 매핑을 학습함으로써, 저비용으로 높은 정확도를 달성하며, 학습 시간 창을 초월한 불안정성과 일시적 현상까지 효과적으로 포착한다.

ABSTRACT

High-fidelity numerical simulations of partial differential equations (PDEs) given a restricted computational budget can significantly limit the number of parameter configurations considered and/or time window evaluated for modeling a given system. Multi-fidelity surrogate modeling aims to leverage less accurate, lower-fidelity models that are computationally inexpensive in order to enhance predictive accuracy when high-fidelity data are limited or scarce. However, low-fidelity models, while often displaying important qualitative spatio-temporal features, fail to accurately capture the onset of instability and critical transients observed in the high-fidelity models, making them impractical as surrogate models. To address this shortcoming, we present a new data-driven strategy that combines dimensionality reduction with multi-fidelity neural network surrogates. The key idea is to generate a spatial basis by applying the classical proper orthogonal decomposition (POD) to high-fidelity solution snapshots, and approximate the dynamics of the reduced states - time-parameter-dependent expansion coefficients of the POD basis - using a multi-fidelity long-short term memory (LSTM) network. By mapping low-fidelity reduced states to their high-fidelity counterpart, the proposed reduced-order surrogate model enables the efficient recovery of full solution fields over time and parameter variations in a non-intrusive manner. The generality and robustness of this method is demonstrated by a collection of parametrized, time-dependent PDE problems where the low-fidelity model can be defined by coarser meshes and/or time stepping, as well as by misspecified physical features. Importantly, the onset of instabilities and transients are well captured by this surrogate modeling technique.

연구 동기 및 목표

• 매개변수화된 시간에 따라 변화하는 PDE에서 고신뢰도 시뮬레이션 데이터의 부족 문제를 해결하기 위해.
• 고신뢰도 데이터가 부족하거나 생성하기 비용이 많이 들 때도 예측 정확도를 향상시키기 위해.
• 고신뢰도 데이터를 유지하면서 저신뢰도 데이터를 활용하는 비내재적이고 데이터 기반의 프레임워크를 개발하기 위해.
• 학습 데이터 커버리지 이외의 시간 간격과 매개변수 변화에 대해 정확한 시간 예측과 일반화를 가능하게 하기 위해.
• 차원 감소와 다중 신뢰도 학습을 조합하여 계산 효율성을 향상시키기 위해.

제안 방법

• 고신뢰도 해 샘플을 대상으로 적절한 직교 분해(POD)를 적용하여 공간 감소 기저를 구성한다.
• 감소된 차원 상태 — 시간-매개변수 의존적 POD 계수 — 는 다중 신뢰도 LSTM 네트워크로 모델링된다.
• 짝지어진 저신뢰도 및 고신뢰도 데이터를 사용하여 LSTM은 저신뢰도 감소 상태에서 고신뢰도 감소 상태로의 매핑을 학습한다.
• 이 방법은 내재적이지 않으며, 전체 순서 해석기의 수정 없이 해 데이터에만 의존한다.
• 프레임워크는 사전에 학습하고 온라인으로 배포되어 전체 해 장을 신속하고 정확하게 예측할 수 있다.
• 이 접근법은 일반적이고 확장 가능하며, POD를 다른 기저 구성 방법으로 교체하거나 LSTM을 다른 시퀀스 모델로 대체할 수 있다.

실험 결과

연구 질문

• RQ1 제한된 고신뢰도 데이터와 풍부한 저신뢰도 데이터만을 사용하여 다중 신뢰도 대체 모델이 고신뢰도 해 장을 효과적으로 복원할 수 있는가?
• RQ2 제안된 방법이 학습 데이터에 존재하지 않는 핵심 일시적 현상과 불안정성을 얼마나 정확하게 예측할 수 있는가?
• RQ3 저신뢰도 데이터를 통합할 경우, 고신뢰도 또는 저신뢰도 모델에만 의존하는 것과 비교해 예측 정확도가 얼마나 향상되는가?
• RQ4 학습 창을 초월한 매개변수 변화와 시간 간격에 대해 모델이 잘 일반화되는가?
• RQ5 기본 고신뢰도, 저신뢰도 및 순수 데이터 기반 대체 모델과 비교해 정확도와 계산 비용 측면에서 이 방법은 어떻게 성능을 내는가?

주요 결과

• 제안된 다중 신뢰도 POD-LSTM 모델은 평균적으로 상대 예측 오차를 3.48%로 줄였으며, 저신뢰도 모델의 18.5%에 비해 높은 정확도를 확보하면서도 저비용을 유지한다.
• 이 방법은 시간에 따라 변화하는 PDE에서 불안정성과 일시적 현상의 발생을 학습 시간 창을 초월하여도 성공적으로 포착한다.
• 예시 (III)에서 모델은 고신뢰도 비용의 4.17%에 해당하는 111초의 계산 시간을 기록했으며 상대 오차는 3.48%로, 효율성-정확도 트레이드오프 측면에서 저신뢰도 및 고신뢰도 접근 방식을 모두 뛰어넘었다.
• 프레임워크는 제한된 고신뢰도 데이터에 의존함에도 불구하고, 저신뢰도 시뮬레이션 수준의 비용으로 전체 해 장을 정확하게 온라인 예측할 수 있도록 한다.
• 모델은 메쉬가 거친 경우, 물리 법칙이 단순화된 경우, 매개변수가 잘못 지정된 경우 등 다양한 PDE 문제에 대해 잘 일반화된다.
• 저신뢰도 데이터와 물리적으로 의미 있는 감소 기저를 사용함으로써 물리적 일관성을 유지함으로써 모델은 강건성과 해석 가능성을 입증한다.