[논문 리뷰] Non-intrusive Surrogate Modeling for Parametrized Time-dependent PDEs using Convolutional Autoencoders

Stefanos Nikolopoulos, Ioannis Kalogeris외 1명|arXiv (Cornell University)|2021. 01. 14.

Probabilistic and Robust Engineering Design참고 문헌 49인용 수 9

한 줄 요약

이 논문은 컨volutional autoencoder(고정형)과 피드포워드 신경망(FFNN)을 사용하여 매개변수화된 시간에 의존하는 PDE에 대한 비침습적 대체 모델링 프레임워크를 제안한다. 고정밀도 유한요소법(FEM) 해의 행렬을 CAE 인코딩을 통해 저차원 잠재 공간으로 압축하고, 매개변수 입력을 이 잠재 표현으로 매핑하는 FFNN을 훈련한 후, CAE 디코더를 통해 전체 해를 재구성한다. 이로 인해 고정밀도 몬테카를로 시뮬레이션에서 81배의 속도 향상을 이룩했으며, 높은 정확도를 확보하였다.

ABSTRACT

This work presents a non-intrusive surrogate modeling scheme based on machine learning technology for predictive modeling of complex systems, described by parametrized time-dependent PDEs. For these problems, typical finite element approaches involve the spatiotemporal discretization of the PDE and the solution of the corresponding linear system of equations at each time step. Instead, the proposed method utilizes a convolutional autoencoder in conjunction with a feed forward neural network to establish a low-cost and accurate mapping from the problem's parametric space to its solution space. For this purpose, time history response data are collected by solving the high-fidelity model via FEM for a reduced set of parameter values. Then, by applying the convolutional autoencoder to this data set, a low-dimensional representation of the high-dimensional solution matrices is provided by the encoder, while the reconstruction map is obtained by the decoder. Using the latent representation given by the encoder, a feed-forward neural network is efficiently trained to map points from the problem's parametric space to the compressed version of the respective solution matrices. This way, the encoded response of the system at new parameter values is given by the neural network, while the entire response is delivered by the decoder. This approach effectively bypasses the need to serially formulate and solve the system's governing equations at each time increment, thus resulting in a significant cost reduction and rendering the method ideal for problems requiring repeated model evaluations or 'real-time' computations. The elaborated methodology is demonstrated on the stochastic analysis of time-dependent PDEs solved with the Monte Carlo method, however, it can be straightforwardly applied to other similar-type problems, such as sensitivity analysis, design optimization, etc.

연구 동기 및 목표

• 불확실성 정량화와 최적화와 같은 분야에서 매개변수화된 시간에 의존하는 PDE의 반복 시뮬레이션으로 인한 높은 계산 비용을 해결한다.
• 비선형성 및 비근본적 문제에서 반복적인 재투영이 필요한 침습적 감소 기저 방법의 한계를 극복한다.
• PDE를 각 시간 단계나 매개변수 값에서 다시 풀 필요 없이, 매개변수 입력을 기반으로 한 데이터 기반의 비침습적 대체 모델을 개발한다.
• 완전한 차수의 FEM 해를 대체하는 빠른 신경망 추론을 통해 실시간 또는 고처리량 시뮬레이션을 가능하게 한다.
• 대규모 표본 수를 사용한 몬테카를로 시뮬레이션을 통해 이 방법의 효과성을 입증한다.

제안 방법

• 감소된 매개변수 값의 집합에서 고정밀도 FEM 시뮬레이션을 통해 시간 역사를 가진 해의 행렬을 수집한다.
• CAE의 인코더를 통해 고차원 해의 행렬을 저차원 잠재 공간으로 압축하기 위해 컨volutional autoencoder(CAE)를 훈련한다.
• CAE의 디코더를 사용해 잠재 표현에서 원래의 해의 행렬을 재구성한다.
• 매개변수 입력을 직접 해의 잠재 공간 표현으로 매핑하는 피드포워드 신경망(FFNN)을 훈련한다.
• FFNN을 CAE의 디코더와 조합하여 PDE를 풀지 않고도 전체 해의 행렬을 생성함으로써, 해를 풀지 않는 추론을 가능하게 한다.
• GPU 기반 훈련과 CPU 기반 추론을 활용해 온라인 계산 비용을 최소화한다.

실험 결과

연구 질문

• RQ1 비침습적이고 데이터 기반의 대체 모델이 매개변수화된 시간에 의존하는 PDE에 대해 높은 정확도를 확보하면서도 계산 비용을 극적으로 줄일 수 있는가?
• RQ2 컨볼루션 오토에인드(CAE)가 제한된 FEM 스크래치에서 시공간 해의 행렬을 얼마나 잘 압축하고 재구성할 수 있는가?
• RQ3 FFNN이 매개변수에서 잠재 공간으로의 매핑이 전체 해 궤적의 정확하고 빠른 재구성에 얼마나 기여하는가?
• RQ4 대규모 몬테카를로 시뮬레이션에 대해 이 대체 모델을 확장했을 때의 속도 향상과 정확도 간의 트레이드오프는 어떠한가?
• RQ5 이 방법은 수만 번의 모델 평가가 필요한 스튜디오틱 PDE에 효과적으로 적용될 수 있는가?

주요 결과

• 3,000회의 몬테카를로 시뮬레이션에서 전체 FEM 대비 81.23배의 계산 속도 향상을 달성하였다.
• 50만 회의 몬테카를로 시뮬레이션에서는 FEM가 약 122일이 소요되는 반면, 대체 모델은 40.7시간 내로 완료되어 81.10배의 속도 향상을 달성하였다.
• 500개의 초기 훈련 샘플을 사용했을 때 해의 행렬 평균 상대 오차는 약 0.03였으며, 데이터 크기가 증가함에 따라 수렴이 관찰되었다.
• 잠재 벡터의 차원이 높을수록 정확도가 향상됨을 확인하여 표현 능력의 중요성을 입증하였다.
• 3,000회의 시뮬레이션에 대해 전체 FEM 비용(63,360초)에 비해 오프라인 훈련 비용(16,521초)이 훨씬 낮아 강력한 확장성을 입증하였다.
• 이 방법을 통해 FEM만으로는 불가능한 50만 회의 시뮬레이션에서 이동의 시간에 따른 확률 밀도 함수를 계산 가능한 수준으로 구현하였다.