[논문 리뷰] POD-DL-ROM: Enhancing deep learning-based reduced order models for nonlinear parametrized PDEs by proper orthogonal decomposition

Stefania Fresca, Andrea Manzoni|arXiv (Cornell University)|2022. 01. 01.

Model Reduction and Neural Networks참고 문헌 66인용 수 241

한 줄 요약

이 논문은 비선형 매개변수화된 PDE에 대해 딥러닝 기반 감소 차원 모델(DL-ROMs)의 오프라인 학습 단계를 극적으로 가속화하기 위해 고유수직분해(POD)와 딥러닝 기반 감소 차원 모델(DL-ROMs)을 조합한 하이브리드 방법인 POD-DL-ROM을 제안한다. 무작위 POD를 적용하여 차원 감소를 수행하고 다중 정밀도 사전학습 전략을 도입함으로써 네트워크 복잡도와 학습 시간을 감소시키면서도 높은 정확도와 온라인 효율성을 유지한다. 이로 인해 전체 순서 모델(FOM) 대비 최대 6.59×10⁵배의 속도 향상을 달성한다.

ABSTRACT

Deep learning-based reduced order models (DL-ROMs) have been recently proposed to overcome common limitations shared by conventional reduced order models (ROMs) – built, e.g., through proper orthogonal decomposition (POD) – when applied to nonlinear time-dependent parametrized partial differential equations (PDEs). These might be related to (i) the need to deal with projections onto high dimensional linear approximating trial manifolds, (ii) expensive hyper-reduction strategies, or (iii) the intrinsic difficulty to handle physical complexity with a linear superimposition of modes. All these aspects are avoided when employing DL-ROMs, which learn in a non-intrusive way both the nonlinear trial manifold and the reduced dynamics, by relying on deep (e.g., feedforward, convolutional, autoencoder) neural networks. Although extremely efficient at testing time, when evaluating the PDE solution for any new testing-parameter instance, DL-ROMs require an expensive training stage, because of the extremely large number of network parameters to be estimated. In this paper we propose a possible way to avoid an expensive training stage of DL-ROMs, by (i) performing a prior dimensionality reduction through POD, and (ii) relying on a multi-fidelity pretraining stage, where different physical models can be efficiently combined. The proposed POD-DL-ROM is tested on several (both scalar and vector, linear and nonlinear) time-dependent parametrized PDEs (such as, e.g., linear advection–diffusion–reaction, nonlinear diffusion–reaction, nonlinear elastodynamics, and Navier–Stokes equations) to show the generality of this approach and its remarkable computational savings.

연구 동기 및 목표

• 대규모 매개변수화된 PDE에 대해 딥러닝 기반 감소 차원 모델(DL-ROMs)의 학습에 소요되는 높은 계산 비용을 해결한다.
• 전체 순서 모델(FOM)의 차원 Nh에 따라 악화되는 DL-ROMs의 차원의 저주 문제를 극복한다.
• 정확도나 온라인 계산 속도를 희생시키지 않고 학습 효율성을 향상시킨다.
• 기존에 학습 비용으로 인해 실현 불가능했던 고정밀도 문제(예: 나비에-스토크스 방정식)에 대한 DL-ROMs의 적용을 가능하게 한다.
• 비침습적이고, 일반화 가능하며, 안정적인 비선형 시간에 의존하는 PDE의 감소 차원 모델링 프레임워크를 제공한다.

제안 방법

• 신경망 학습 이전에 FOM 샘플을 대상으로 무작위 POD(rPOD)를 적용하여 차원 감소를 수행하고, rPOD를 첫 번째 레이어 인코더로 간주한다.
• 컨볼루션 오토에인코더(CAE)를 사용하여 해 공간의 비선형 시도 다양체를 학습하고, 디코더를 통해 전체 해를 재구성한다.
• 일반화된 좌표의 시간 및 매개변수에 따른 감소된 동역학을 모델링하기 위해 깊이 있는 순환 신경망(DFNN)을 학습한다.
• 다중 정밀도 사전학습 전략을 구현하여, 더 낮은 정밀도 모델(더 거친 메쉬 또는 단순화된 물리 법칙)의 파rameters를 사용해 고정밀도 네트워크의 가중치를 초기화한다.
• 오프라인 학습 단계를 차원 감소와 사전학습으로 분리하여, 처음부터 학습해야 할 파라미터 수를 크게 감소시킨다.
• POD의 수학적 엄밀성과 효율성과 DL-ROMs의 비침습적 성질을 동시에 유지한다.

실험 결과

연구 질문

• RQ1 POD-DL-ROM은 네트워크 복잡도를 증가시키지 않고 DL-ROMs의 오프라인 학습 비용을 줄일 수 있는가?
• RQ2 rPOD와 다중 정밀도 사전학습의 조합이 결과 ROM의 정확도와 수렴성에 어떤 영향을 미치는가?
• RQ3 POD-DL-ROM은 높은 차원의 FOMs(예: Nh > 10⁵)를 얼마나 잘 처리할 수 있으며, 온라인 평가 속도를 유지할 수 있는가?
• RQ4 POD-DL-ROM은 유체역학에서의 복잡한 물리 현상(예: 소용돌이 형성)을 정확히 포착할 수 있는가?
• RQ5 정확도, 학습 시간, 온라인 속도 향상 측면에서 표준 POD-갈레르킨 ROMs와 표준 DL-ROMs에 비해 POD-DL-ROM의 성능은 어떠한가?

주요 결과

• Navier-Stokes 문제에 대해 Nh = 64,892일 때, POD-DL-ROM은 V100 GPU에서 오프라인 학습 시간을 50분으로 단축시켰으며, 이는 표준 DL-ROMs에 비해 훨씬 짧은 시간이다.
• 테스트 시각에서 매 매개변수 인스턴스당 단 0.1초의 시간이 소요되어 전체 순서 모델 대비 2.15×10⁵배의 속도 향상을 달성했다.
• Nh = 257,528인 고정밀도 문제에 대해 다중 정밀도 사전학습을 통해 10분의 학습 시간에 동일한 상대 오차(1.4×10⁻²)를 달성하여 확장성을 입증했다.
• Re = 117일 때 소용돌이 형성 현상을 정확히 포착했고, Re = 70일 때는 그 존재가 없음을 보여주었으며, 속도장에 대한 상대 오차는 1.5% 이하였다.
• 출구 경계에서의 유량 예측 결과는 FOM과 최대 상대 오차 1.65% 이내로 일치하여 관심 있는 출력 양상의 정밀도를 확인했다.
• 고정밀도 케이스에서 테스트 시점에서 6.59×10⁵배의 속도 향상을 달성하여 실시간 또는 실시간을 초월하는 시뮬레이션을 가능하게 했다.