[논문 리뷰] A fast and accurate physics-informed neural network reduced order model with shallow masked autoencoder

Youngkyu Kim, Youngsoo Choi외 2명|arXiv (Cornell University)|2020. 09. 25.

Model Reduction and Neural Networks참고 문헌 85인용 수 42

한 줄 요약

논문은 NM-ROM을 소개합니다. NM-ROM은 얕은 마스킹된 오토인코더를 사용하여 전도 주도 문제에서 속도 향상을 달성하고, 하이퍼-리덕션과 물리 정보 학습으로 보완되는 비선형 매니폴드 ROM입니다.

ABSTRACT

Traditional linear subspace reduced order models (LS-ROMs) are able to accelerate physical simulations, in which the intrinsic solution space falls into a subspace with a small dimension, i.e., the solution space has a small Kolmogorov n-width. However, for physical phenomena not of this type, e.g., any advection-dominated flow phenomena, such as in traffic flow, atmospheric flows, and air flow over vehicles, a low-dimensional linear subspace poorly approximates the solution. To address cases such as these, we have developed a fast and accurate physics-informed neural network ROM, namely nonlinear manifold ROM (NM-ROM), which can better approximate high-fidelity model solutions with a smaller latent space dimension than the LS-ROMs. Our method takes advantage of the existing numerical methods that are used to solve the corresponding full order models. The efficiency is achieved by developing a hyper-reduction technique in the context of the NM-ROM. Numerical results show that neural networks can learn a more efficient latent space representation on advection-dominated data from 1D and 2D Burgers' equations. A speedup of up to 2.6 for 1D Burgers' and a speedup of 11.7 for 2D Burgers' equations are achieved with an appropriate treatment of the nonlinear terms through a hyper-reduction technique. Finally, a posteriori error bounds for the NM-ROMs are derived that take account of the hyper-reduced operators.

연구 동기 및 목표

• advection-dominated 또는 sharp-gradient 문제에 대한 선형 하위공간 ROM의 한계를 해결한다.
• solution 표현을 위해 얕은 masked autoencoder를 사용하는 비선형 매니폴드 ROM (NM-ROM)을 개발한다.
• 정확도를 유지하면서 NM-ROM 계산을 가속하기 위해 하이퍼-리덕션을 활용한다.
• 하이퍼-리덕션 연산자를 반영하는 사후 오차 경계를 도출한다.
• 1D 및 2D Burgers 방정식에서 성능 향상을 입증한다.

제안 방법

• 해석을 저차원 잠재 공간에서 전체 공간으로 매핑하는 디코더 g를 통해 비선형 매니폴드 위의 해를 표현한다.
• 얕은 masked autoencoder를 사용하여 FOM 데이터로부터 비선형 매니폴드 표현을 학습한다.
• NM-Galerkin 및 NM-LSPG 투영을 적용하여 감소 차원 진화 방정식을 얻는다.
• 시간적 보정 단계에서 비선형 항을 효율적으로 평가하기 위해 하이퍼-리덕션 기법을 도입한다.
• 해를 스냅샷으로 학습하고 학습 안정화를 위해 데이터를 정규화한다.
• 하이퍼-리덕션 연산자의 효과를 포함하는 사후 오차 경계를 도출한다.

실험 결과

연구 질문

• RQ1 NM-ROM이 LS-ROM보다 더 작은 잠재 차원으로도 advection-dominated 문제에서 정확한 근사를 달성할 수 있는가?
• RQ2 1D 및 2D 설정에서 하이퍼-리덕션이 NM-ROM의 속도와 정확도에 어떤 영향을 미치는가?
• RQ3 하이퍼-리덕스 NM-ROM을 사용할 때의 이론적 오차 경계는 무엇인가?
• RQ4 NM-ROM 효율성 맥락에서 얕은 masked autoencoder가 더 깊은 아키텍처에 비해 어떤 차이가 있는가?
• RQ5 비선형 매니폴드 표현이 보존 법칙과 물리적 구조를 유지하는 데 어떤 역할을 하는가?

주요 결과

• NM-ROM은 advective-dominated 데이터(1D 및 2D Burgers 방정식)에서 더 효율적인 잠재 공간 표현을 학습할 수 있다.
• 적절한 비선형 항 하이퍼-리덕션으로 1D Burgers에서 최대 2.6의 속도 향상, 2D Burgers에서 11.7의 속도 향상을 달성했다.
• NM-ROM에 대한 사후 오차 경계가 하이퍼-리덕션 연산자를 고려하여 도출된다.
• 디코더는 얕은 masked 네트워크로, 효율적인 Jacobian 계산 및 하이퍼-리덕션과의 통합을 가능하게 한다.
• 이 방법은 surrogate의 신뢰성을 개선하기 위해 전체 차수 모델의 기존 수치 방법을 활용한다.