[논문 리뷰] Long-time prediction of nonlinear parametrized dynamical systems by deep learning-based reduced order models

Federico Fatone, Stefania Fresca외 1명|arXiv (Cornell University)|2022. 01. 25.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 비선형 매개변수화된 동역계의 장기 예측을 가능하게 하는 딥러닝 기반 감소 차원 모델인 μt-POD-LSTM-ROM을 제안한다. 고유직교분해(POD)와 장기 단기 기억(LSTM) 네트워크를 결합하여, 매개변수와 시간 예측을 별도의 두 개의 LSTM 아키텍처로 분리함으로써, 훈련 윈도우의 15배 이상 장기 예측을 실현하였으며, 평균 상대 오차는 9.029×10⁻⁵이며, 이전의 POD-DL-ROM보다 52% 빠른 추론 성능을 달성하였다.

ABSTRACT

Deep learning-based reduced order models (DL-ROMs) have been recently proposed to overcome common limitations shared by conventional ROMs - built, e.g., exclusively through proper orthogonal decomposition (POD) - when applied to nonlinear time-dependent parametrized PDEs. In particular, POD-DL-ROMs can achieve extreme efficiency in the training stage and faster than real-time performances at testing, thanks to a prior dimensionality reduction through POD and a DL-based prediction framework. Nonetheless, they share with conventional ROMs poor performances regarding time extrapolation tasks. This work aims at taking a further step towards the use of DL algorithms for the efficient numerical approximation of parametrized PDEs by introducing the $μt$-POD-LSTM-ROM framework. This novel technique extends the POD-DL-ROM framework by adding a two-fold architecture taking advantage of long short-term memory (LSTM) cells, ultimately allowing long-term prediction of complex systems' evolution, with respect to the training window, for unseen input parameter values. Numerical results show that this recurrent architecture enables the extrapolation for time windows up to 15 times larger than the training time domain, and achieves better testing time performances with respect to the already lightning-fast POD-DL-ROMs.

연구 동기 및 목표

• 기존 감소 차원 모델(ROM)이 훈련 시간 영역을 초월해 해를 외삽하는 데에 있어 근본적인 한계를 해결한다.
• 고성능을 유지하면서도 POD 기반 ROM의 열악한 시간 외삽 성능을 개선한다.
• 유동역학 문제를 포함한 복잡한 비선형 매개변수화된 동역계에 대해, 새로운 매개변수 값과 장기적인 시간 영역에서 신속하고 정확하며 강건한 예측을 가능하게 한다.
• 블랙박스 고정밀도 해석기와 호환되는 비침습적 프레임워크를 개발하여, 더 짧은 FOM 스크래치 윈도우를 허용함으로써 오프라인 계산 비용을 감소시킨다.
• 제어, 최적화, 불확실성 정량화와 같은 실시간이 필요한 애플리케이션에 대해 실시간을 초월하는 성능을 달성한다.

제안 방법

• 해의 근사치를 두 단계로 분해한다: (1) 매개변수에 민감한 LSTM을 이용한 새로운 매개변수 값에 대한 해 예측, (2) 시간에 민감한 LSTM을 이용한 시간 진화 예측.
• 고정밀도 FOM 스크래치에서 저차원 감소 다양체를 추출하기 위해 고유직교분해(POD)를 사용한다.
• 매개변수 의존 해 매핑을 위한 하나, 시간 동역학을 위한 다른 하나의 두 가지 브랜치로 구성된 LSTM 아키텍처를 훈련한다. 양측 모두 장기적 의존성을 포착하기 위해 장기 단기 기억 셀을 활용한다.
• 3층 피드포워드 회귀기로 LSTM에 의해 인코딩된 잠재 상태에서 향후 일반화된 좌표를 예측하여, 종단 간 외삽 예측을 가능하게 한다.
• 감소된 좌표에서 전체 차원 해를 복원하기 위해 컨volutional autoencoder(CAE)의 디코더를 통합함으로써 공간 정밀도를 확보한다.
• 단지 FOM 스크래치만을 사용하여 비침습적으로 모델을 훈련함으로써, 블랙박스 해석기와의 호환성을 확보하고 구현 복잡도를 최소화한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 ROM 프레임워크는 훈련 시간 윈도우를 초월해 비선형 매개변수화된 PDE에 대해 신뢰할 수 있는 장기 시간 외삽 예측을 달성할 수 있는가?
• RQ2 제안된 μt-POD-LSTM-ROM은 기존의 POD-DL-ROM과 비교해 정확도와 속도 면에서 어떻게 다른가? 특히 온라인 추론 시간과 새로운 매개변수에 대한 일반화 능력 측면에서 어떻게 성능을 내는가?
• RQ3 정확도를 희생시키지 않으면서도, 더 짧은 FOM 스크래치 윈도우를 허용함으로써 오프라인 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 비정상적 유동, 소용돌이가 지배하는 흐름과 같은 복잡한 유동, 예를 들어 라우닝 흐름을 지닌 비정상적 스토크스 방정식에서는 모델이 높은 정확도를 유지할 수 있는가?
• RQ5 매개변수 예측과 시간 예측을 분리한 아키텍처가 비선형 동역계에서 공동 모델링 접근 방식에 비해 외삽 성능을 향상시키는가?

주요 결과

• μt-POD-LSTM-ROM은 훈련 시간 영역의 15배 이상 장기 예측을 실현하였으며, 비정상적 라우닝-나비에르-스톡스 방정식과 같은 복잡한 유동역학 문제에서 뛰어난 강건성을 입증하였다.
• Re=117인 시험 케이스(소용돌이 방출)에서 평균 상대 오차는 5.806×10⁻²이며, 95% 부트스트랩 신뢰구간은 [9.029×10⁻⁵, 1.053×10⁻⁴]로, 제한된 훈련 데이터에도 불구하고 높은 정확도를 보였다.
• 기준선인 POD-DL-ROM 대비 온라인 예측 시간을 52% 단축시켜, 0.1초 수준의 시간 스케일을 가진 문제에서 실시간 초월 시뮬레이션 성능을 달성하였다.
• 압력 데이터에 접근하지 못하는 상황에서도 빠르게 훈련된 속도장만으로도 높은 정확도를 유지함으로써, 모델의 강건성과 일반화 능력을 입증하였다.
• μt-POD-LSTM-ROM의 훈련은 단지 2415 에포크(5692초)가 소요되었으며, 160만 개의 파라미터를 가진 컴act 아키텍처 덕분에 클라우드 GPU 클러스터 없이도 현지에서의 배포가 가능했다.
• 프레임워크는 주기적 및 비주기적 시스템 모두에서 성공적인 외삽 예측을 보였으며, 3종의 로트카-볼테라 모델과 선형 이동-확산-반응 방정식을 포함하여 광범위한 적용 가능성을 입증하였다.