[논문 리뷰] Sequence to sequence AE-ConvLSTM network for modelling the dynamics of PDE systems

Priyesh Rajesh Kakka|arXiv (Cornell University)|2022. 08. 15.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 비선형 PDE에 의해 지배되는 동역학 시스템의 장기 예측을 향상시키기 위해 인코더-디코더 블록 간의 은닉 상태 전달을 활용하는 자동에코그래프 기반의 시퀀스-투-시퀀스 ConvLSTM 네트워크(AE-ConvLSTM)를 제안한다. 데이터로 훈련된 경우, 비압축성 2D 뷰르거 및 라우지-스톡스 유동의 100개 시간 단계를 성공적으로 예측한다; 그러나 데이터 없이 물리 법칙에 기반한 훈련은 특히 라우지-스톡스의 압력과 속도와 같이 다중 척도의 결합된 필드에서 장기적 역학을 포착하지 못한다.

ABSTRACT

The article explains the convolutional LSTM (ConvLSTM) network in detail and introduces an improved auto-encoder version of the ConvLSTM network called AE-ConvLSTM. AE-ConvLSTM is also a sequence to sequence network that can predict long time evolution of a dynamical system by passing hidden states from one encoder to another. The network performed well in predicting the dynamic evolution of unsteady 2-D viscous Burgers when trained using data and, in another case, using governing equation (without data), i.e., physics-constrained. Further, AE-ConvLSTM was used in an effort to predict the time evolution of two unsteady Navier-Stokes problems. These problems have coupled pressure and velocity field having different magnitude order, and these fields evolve in time at a different rate. It was observed that the network could be trained using data, but while training using physics-constrained via governing equations, AE-ConvLSTM fails to train for time evolution.

연구 동기 및 목표

• 비선형 PDE에 의해 지배되는 동역학 시스템의 장기적 시간 진화를 예측할 수 있는 딥 러닝 서rogate 모델을 개발하는 것.
• 기본적인 ConvLSTM과 자동 회귀 RNN이 기울기 소실 및 높은 계산 비용으로 인해 장기간의 시퀀스를 포착하는 데 어려움을 겪는 문제를 해결하는 것.
• AE-ConvLSTM의 성능을 데이터 기반 및 물리 법칙 기반(지배 방정식만) 훈련 파라다임에서 평가하는 것.
• 비압축성 라우지-스톡스와 같이 다중 척도의 시간 진화를 보이는 복잡한 결합 PDE 시스템에 대해 물리 법칙 기반 훈련의 가능성 탐색.
• 다른 속도로 진화하는 필드(예: 라우지-스톡스의 속도와 압력)를 포함한 시스템에서 물리 법칙 기반 훈련의 실패 원인 규명.

제안 방법

• 시퀀스-투-시퀀스 자동에코그래프 아키텍처를 제안하며, 이는 인코더가 입력 시퀀스를 잠재 상태로 압축하고, 디코더가 장기적인 미래 상태를 재구성한다.
• 연속된 인코더-디코더 블록 간의 은닉 상태 전달을 도입하여 단일 순방향 프로세스에서 최대 100개 시간 단계의 장기적 시퀀스 예측이 가능하게 하여 기울기 소실 문제를 감소시킨다.
• 이중 스트림 손실 함수를 적용: 라우지-스톡스의 코어시티 및 스트림함수 필드에 대한 MSE 손실, 그리고 비압축성 조건(∇·u = 0)을 강제하는 잔차 손실.
• 지배 방정식(예: 점성 뷰르거 방정식, 라우지-스톡스의 코어시티-속도 형식)을 사용하여 데이터 없이 물리 법칙 기반 훈련을 수행한다.
• 유한 차분 이산화를 적용하여 물리 법칙 기반 훈련 중 PDE 잔차(예: ∂tω + u·∇ω = νΔω + f)를 손실 함수에 포함시킨다.
• Adam 옵티마이저를 사용하여 학습하고 학습률 스케줄링을 적용하며, 예측된 필드와 목표 필드 간의 MSE 및 L1 오차를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 AE-ConvLSTM가 데이터 기반 훈련 시 100개 시간 단계를 예측할 때 표준 ConvLSTM를 능가하는가?
• RQ2 물리 법칙 기반 훈련(데이터 없이)이 2D 점성 뷰르거 방정식의 장기적 예측을 정확하게 가능하게 하는가?
• RQ3 뷰르거 방정식에서는 성공했지만, 비압축성 라우지-스톡스 문제에서는 왜 물리 법칙 기반 훈련이 실패하는가?
• RQ4 다중 척도의 시간 진화(예: 속도와 압력이 다른 속도로 진화하는 경우)는 물리 법칙 기반 AE-ConvLSTM의 훈련에 어떤 영향을 미치는가?
• RQ5 PDE 잔차만을 사용해 훈련할 때 AE-ConvLSTM 아키텍처가 라우지-스톡스 시스템에서 복잡한 결합된 필드 역학(예: 코어시티와 속도)을 효과적으로 학습할 수 있는가?

주요 결과

• AE-ConvLSTM는 데이터 기반 훈련 시 장기간의 시퀀스를 예측하는 데 표준 ConvLSTM를 능가하며, 2D 점성 뷔르거 방정식의 100개 시간 단계를 성공적으로 예측한다.
• 물리 법칙 기반 훈련을 통해 AE-ConvLSTM는 지배 방정식만을 손실로 사용하여 최대 35개 시간 단계까지 훈련한 후 100개 시간 단계의 2D 점성 뷔르거 방정식을 성공적으로 예측한다.
• 리드드라이브 캐비티 라우지-스톡스 문제에서는 데이터 기반 훈련이 50개 시간 단계 동안 속도 및 코어시티 필드에 대해 뛰어난 예측을 하였다.
• 리드드라이브 캐비티에 대해 물리 법칙 기반 훈련은 초기 잔차는 정확했지만 몇 개 시간 단계 후에 예측이 발산하여 장기적 역학을 포착하지 못했다.
• 주기적인 코어시티 형식의 라우지-스톡스에서 물리 법칙 기반 훈련은 처음 몇 단계는 정확성을 유지했지만 그 이후 정확도를 유지하지 못했으며, 이는 다중 척도 필드 진화의 불안정성 때문이었다.
• 물리 법칙 기반 훈련의 실패 원인은 최적화 과정에서 국소 최소값에 갇히고, 서로 다른 시간 진화 속도를 가진 필드(예: 라우지-스톡스의 속도와 압력)를 동시에 학습하는 데서 기인한다.