[논문 리뷰] A comprehensive deep learning-based approach to reduced order modeling of nonlinear time-dependent parametrized PDEs

Stefania Fresca, Luca Dede’외 1명|arXiv (Cornell University)|2020. 01. 12.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 데이터 기반 딥러닝을 사용하여 파arametrized, 비선형 시간에 의존하는 PDE의 비선형 시험 다양체(manifold)와 축소된 동역학을 동시에 학습하는 딥러닝 기반 축소 차원 모델(DL-ROM)을 제안한다. 이 방법은 매우 낮은 축소 차원으로도 높은 정확도를 달성하며, 기존의 POD 기반 ROMs에 비해 수십 배에서 수백 배 이상 많은 모드가 필요한 문제들에 비해 유사하거나 그 이상의 정확도를 보인다. 특히 파동이나 대류 지배 흐름과 같은 전파되는 공명 구조를 포함한 문제들에서 뛰어난 성능을 발휘한다.

ABSTRACT

Traditional reduced order modeling techniques such as the reduced basis (RB) method (relying, e.g., on proper orthogonal decomposition (POD)) suffer from severe limitations when dealing with nonlinear time-dependent parametrized PDEs, because of the fundamental assumption of linear superimposition of modes they are based on. For this reason, in the case of problems featuring coherent structures that propagate over time such as transport, wave, or convection-dominated phenomena, the RB method usually yields inefficient reduced order models (ROMs) if one aims at obtaining reduced order approximations sufficiently accurate compared to the high-fidelity, full order model (FOM) solution. To overcome these limitations, in this work, we propose a new nonlinear approach to set reduced order models by exploiting deep learning (DL) algorithms. In the resulting nonlinear ROM, which we refer to as DL-ROM, both the nonlinear trial manifold (corresponding to the set of basis functions in a linear ROM) as well as the nonlinear reduced dynamics (corresponding to the projection stage in a linear ROM) are learned in a non-intrusive way by relying on DL algorithms; the latter are trained on a set of FOM solutions obtained for different parameter values. In this paper, we show how to construct a DL-ROM for both linear and nonlinear time-dependent parametrized PDEs; moreover, we assess its accuracy on test cases featuring different parametrized PDE problems. Numerical results indicate that DL-ROMs whose dimension is equal to the intrinsic dimensionality of the PDE solutions manifold are able to approximate the solution of parametrized PDEs in situations where a huge number of POD modes would be necessary to achieve the same degree of accuracy.

연구 동기 및 목표

• 선형 초월의 선형 초월을 기반으로 하는 전통적인 축소 기저 방법(예: 축소 기저(RB) 방법)의 한계를 극복하기 위해, 비선형 시간에 의존하는 파arametrized PDE에 대해 공명 구조가 존재하는 경우 실패하는 선형 초월에 의존하는 방법의 문제점을 해결한다.
• 투사 기반 선형 ROM의 계산적 병목 현상을 피하기 위해, 비침습적이고 데이터 기반의 프레임워크를 개발하여 딥러닝을 통해 비선형 시험 다양체와 축소된 동역학을 동시에 학습한다.
• 내재된 다양체 차원과 동일한 축소 차원을 갖는 DL-ROM을 구축하여, 난이도 높은 이동성 및 파동 유형 문제에서도 고정밀도의 고해상도 해를 정확하게 근사할 수 있도록 한다.
• 다양한 종류의 파arametrized PDE 문제에 대해 본 방법의 효과성을 입증하며, 기존의 POD 기반 ROMs에 비해 훨씬 적은 자유도로도 뛰어난 정확도를 달성한다.

제안 방법

• DL-ROM은 고차원의 전체 차원 모델(FOM) 해를 낮은 차원의 잠재 공간으로 매핑하는 인코더 네트워크를 통해 비선형 시험 다용체를 학습하기 위해 컨volutional autoencoder(CAE)를 사용한다.
• 디코더 네트워크는 잠재 코드에서 FOM 해를 재구성하여 해의 다용체에 대한 비선형 파arametric 근사식을 형성한다.
• 축소된 동역학은 시간과 파arameter 입력을 잠재 코드로 매핑하는 딥 피드포워드 신경망을 통해 학습되며, 새로운 파arameter와 시간 값에서 해를 온라인으로 평가할 수 있다.
• 전체 DL-ROM은 기존의 PDE 약한 형태나 잔여항 투사에 대한 접근이 필요 없이, 다양한 파arameter 값에 대해 계산된 FOM 해의 집합에서 비침습적으로 학습된다.
• 공간적 특징 추출과 모델 복잡도 감소를 위한 파arameter 공유를 위한 컨볼루션 레이어를 조합함으로써, PDE 이산화에서 유도되는 고차원 FOM에 적합한 아키텍처를 구성한다.
• 이 방법은 선형 및 비선형 시간에 의존하는 파arametrized PDE에 모두 적용되며, 표준 딥러닝 프레임워크를 사용하여 학습 및 추론이 수행된다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 접근법이 파동이나 대류 전면과 같은 공명 구조를 포함하는 비선형, 시간에 의존하는 파arametrized PDE를 근사할 때 기존의 선형 축소 차원 모델보다 뛰어난 성능을 보일 수 있는가?
• RQ2 컨볼루션 오토에인저를 통해 학습된 비선형 시험 다용체는 POD 기반 방법에 비해 해의 다용체의 차원을 얼마나 줄일 수 있으며, 동시에 높은 정확도를 유지할 수 있는가?
• RQ3 POD 모드 수가 수렴을 위해 계산적으로 금기적인 수준에 이르게 되는 경우, DL-ROM의 온라인 계산 효율성과 정확도는 어떻게 되는가?
• RQ4 제안된 비침습적이고 데이터 기반의 프레임워크는 다양한 파arametric 의존성과 시간 역학을 가진 선형 및 비선형 PDE에 일반화될 수 있는가?
• RQ5 대류 지배 또는 파동 유형 문제에서 고정밀도를 달성하기 위해 DL-ROM이 필요한 최소한의 축소 차원은 얼마인가?

주요 결과

• DL-ROM은 해의 다용체의 내재된 다차원성과 동일한 축소 차원을 갖는다. 이는 기존의 POD 기반 ROMs에 비해 훨씬 더 많은 모드가 필요로 하는 문제들에 비해 뛰어난 정확도를 보인다.
• 파동 유형 및 대류 지배 문제에서는, 수렴을 위해 필요한 POD 모드 수가 계산적으로 금기적인 수준에 이르게 되는 상황에서도 DL-ROM이 높은 정확도를 유지한다.
• 딥 네트워크를 통한 파arameter와 시간에서 해로의 직접 매핑 덕분에, 추론 시간이 표준 ROM과 유사하거나 더 빠르며, 온라인 효율성이 뛰어나다.
• 컨볼루션 오토에인저의 사용은 해의 다용체 내에서 공간적으로 일관된 구조를 효과적으로 학습할 수 있게 하여, 선형 모드보다는 파동 패킷이나 전파되는 전면 같은 특징을 더 정확히 포착한다.
• 수치 실험 결과, DL-ROM은 몇 개의 잠재 차원만으로도 상대 오차가 1e-3 이하로 근사할 수 있었고, 동일한 테스트 케이스에서 POD 기반 ROMs는 유사한 정확도를 달성하기 위해 수백 개의 모드가 필요로 했다.
• 이 프레임워크는 선형 및 비선형 시간에 의존하는 문제를 포함한 다양한 PDE 유형에 대해 강건하며, 공간 이산화에서 유도되는 고차원 FOM에 효과적으로 스케일링된다.