[논문 리뷰] Physics-aware registration based auto-encoder for convection dominated PDEs

Rambod Mojgani, Maciej Balajewicz|arXiv (Cornell University)|2020. 06. 28.

Model Reduction and Neural Networks참고 문헌 29인용 수 15

한 줄 요약

이 논문은 난류 지배 PDE 해의 쿨모고로프 n-폭을 최소화하기 위해 미분형, 시간에 따라 변화하는 공간-시간 격자를 학습하는 물리 인식 자동에코더를 제안한다. 이는 효율적이고 해석 가능하며 정확한 축소된 순서 모델링을 가능하게 한다. 저랭크 분해를 통해 해를 비균일 격자에 정렬함으로써, 이 방법은 특히 대류 지배 시스템에서 훈련 데이터를 초월해 외삽하는 데 있어 표준 자동에코더를 능가한다.

ABSTRACT

We design a physics-aware auto-encoder to specifically reduce the dimensionality of solutions arising from convection-dominated nonlinear physical systems. Although existing nonlinear manifold learning methods seem to be compelling tools to reduce the dimensionality of data characterized by a large Kolmogorov n-width, they typically lack a straightforward mapping from the latent space to the high-dimensional physical space. Moreover, the realized latent variables are often hard to interpret. Therefore, many of these methods are often dismissed in the reduced order modeling of dynamical systems governed by the partial differential equations (PDEs). Accordingly, we propose an auto-encoder type nonlinear dimensionality reduction algorithm. The unsupervised learning problem trains a diffeomorphic spatio-temporal grid, that registers the output sequence of the PDEs on a non-uniform parameter/time-varying grid, such that the Kolmogorov n-width of the mapped data on the learned grid is minimized. We demonstrate the efficacy and interpretability of our approach to separate convection/advection from diffusion/scaling on various manufactured and physical systems.

연구 동기 및 목표

• 난류 지배 PDE에서 높은 쿨모고로프 n-폭 문제를 해결함으로써 선형 축소된 순서 모델의 효과성을 제한하는 문제에 대응한다.
• 잠재 공간에서 물리 공간으로의 미분 가능하고 해석 가능한 사상 제공하는 비선형 차원 축소 방법을 개발함으로써 기존의 다양체 학습 기법의 핵심 한계를 극복한다.
• 물리 인식 비균일 공간-시간 격자를 학습하여 PDE 해를 최적으로 정렬함으로써 정확하고 효율적인 축소된 순서 모델링을 가능하게 한다.
• 표준 자동에코더 특징에 비해 물리 인식 잠재 다각도의 특징을 기반으로 훈련된 잠재 동역학 모델(예: LSTMs)의 일반화 및 예측 능력 향상을 입증한다.

제안 방법

• 이 방법은 학습된 격자 위에서 해 스냅샷의 쿨모고로프 n-폭을 최소화하는 미분형, 시간에 따라 변화하는 격자를 학습하는 비지도 학습 문제로 공식화된다.
• 학습된 격자 위에서 해 스냅샷의 저랭크 행렬 근사화를 사용하며, 시간에 따라 변화하는 격자 표현을 위해 랭크-1 또는 랭크-2 분해를 적용한다.
• 격자 왜곡을 방지하기 위한 정규화 항을 도입하며, 공간 및 시간의 이阶도 행렬($\bm{D}_{xx}, \bm{D}_{tt}$)과 최소 속도 임계값($v_{\text{min}}$)을 사용하여 부드러움을 확보한다.
• 저랭크 재구성 오차와 정규화를 포함한 비용 함수 최적화를 통해 격자를 학습하며, 격자 기저는 공간과 시간에서 각각 15개의 제어점으로 내삽된다.
• 잠재 공간은 이후 시간 시리즈 예측을 위해 LSTM 훈련에 사용되며, 자동에코더와 격자 학습은 별도로 수행되어 안정성과 해석 가능성을 향상시킨다.
• 이 접근법은 대류의 물리적 구조를 활용하여 격자가 이동하는 특징을 적응적으로 추적할 수 있게 하며, 효과적으로 대류를 확산/스케일링 성분과 분리한다.

실험 결과

연구 질문

• RQ1 표준 자동에코더에 비해 데이터 기반의 미분형 격자 학습 접근법이 난류 지배 PDE 해의 쿨모고로프 n-폭을 크게 감소시킬 수 있는가?
• RQ2 물리 인식 비균일 시간에 따라 변화하는 격자를 학습함으로써, LSTMs와 같은 잠재 동역학 모델의 일반화 및 예측 정확도가 훈련 범위를 초월해 향상되는가?
• RQ3 학습된 잠재 공간이 정보 운반의 저랭크 표현으로 해석될 수 있는가? 이는 대류/대류 효과와 확산/스케일링 효과를 효과적으로 분리하는가?
• RQ4 비선형 PDE에 대해 전통적 자동에코더와 투영 기반 축소된 순서 모델에 비해 제안된 방법의 성능 및 효율성은 어떠한가?

주요 결과

• 버거스 방정식에 대해, 물리 인식 자동에코더는 훈련 범위를 초월해 외삽할 때 표준 신경망 자동에코더보다 훨씬 낮은 평균 제곱 오차를 기록했다.
• 버거스 방정식의 경우, 물리 인식 방법은 격자가 대류 전면을 추적할 수 있는 능력을 활용하여 해 오차를 감소시켰지만, 표준 자동에코더는 훈련 도메인 외부로 일반화하지 못했다.
• 파동 방정식 시험 케이스에서, 물리 인식 자동에코더는 공간과 시간에서 각각 15개의 제어점만으로도 정확한 재구성과 예측을 가능하게 하여 저차원이고 해석 가능한 표현을 보여주었다.
• 격자의 이동 전면에 대한 정렬 능력과 잠재 공간 내 물리적 구조의 유지 능력으로 인해, 이 방법은 대류/대류를 확산/스케일링 효과에서 효과적으로 분리했다.
• 학습된 격자는 정보 전파의 저랭크 표현으로 해석 가능하며, 시간에 따라 변화하는 격자가 시스템 내 주요 운반 메커니즘에 적응함을 입증했다.
• 제조된 시스템과 물리적 시스템 양쪽 모두에서, 표준 자동에코더보다 예측 능력에서 뛰어나 일반화 능력과 분포 외 입력에 대한 강건성을 향상시켰다.