[논문 리뷰] Neural-PDE: A RNN based neural network for solving time dependent PDEs

Yihao Hu, Tong Zhao외 3명|arXiv (Cornell University)|2020. 09. 08.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

Neural-PDE는 시간에 따라 변화하는 PDE의 해를 데이터에서 학습하고 예측하기 위해 이원방향 LSTM를 사용하는 시퀀스-투-시퀀스 RNN 프레임워크를 제안한다. 이는 기존의 미리 알고 있는 PDE 식이 필요 없이도 높은 정확도로 복잡하고 비선형적이며 결합된 PDE 시스템(예: Cahn-Hilliard-Navier-Stokes 모델)을 예측할 수 있다. 최소한의 학습(20 에포크 이내)과 시간 단계 간의 가중치 공유로 인해 파rameter 복잡도가 감소하여 높은 효율성을 달성한다.

ABSTRACT

Partial differential equations (PDEs) play a crucial role in studying a vast number of problems in science and engineering. Numerically solving nonlinear and/or high-dimensional PDEs is often a challenging task. Inspired by the traditional finite difference and finite elements methods and emerging advancements in machine learning, we propose a sequence deep learning framework called Neural-PDE, which allows to automatically learn governing rules of any time-dependent PDE system from existing data by using a bidirectional LSTM encoder, and predict the next n time steps data. One critical feature of our proposed framework is that the Neural-PDE is able to simultaneously learn and simulate the multiscale variables.We test the Neural-PDE by a range of examples from one-dimensional PDEs to a high-dimensional and nonlinear complex fluids model. The results show that the Neural-PDE is capable of learning the initial conditions, boundary conditions and differential operators without the knowledge of the specific form of a PDE system.In our experiments the Neural-PDE can efficiently extract the dynamics within 20 epochs training, and produces accurate predictions. Furthermore, unlike the traditional machine learning approaches in learning PDE such as CNN and MLP which require vast parameters for model precision, Neural-PDE shares parameters across all time steps, thus considerably reduces the computational complexity and leads to a fast learning algorithm.

연구 동기 및 목표

• 시간에 따라 변화하는 PDE의 거버닝 역학을 명시적인 PDE 형태 지식 없이 데이터에서 직접 학습하는 딥러닝 프레임워크를 개발하는 것.
• 伝통적 수치 방법으로는 어려운 고차원, 비선형, 결합된 PDE 시스템을 해결하는 데 도전하는 것.
• 표준 딥러닝 모델이 깊이와 넓이에 따라 증가하는 것과는 달리, 시간 단계 간의 가중치 공유를 통해 모델 복잡도를 감소시키고 학습 효율성을 향상시키는 것.
• 엔드 투 엔드 시퀀스-투-시퀀스 학습을 통해 초기 조건과 경계 조건을 포함한 PDE 시스템의 모든 변수를 동시에 학습하고 예측하는 것.
• 복잡한 유체에서의 상전이 모델(예: 페지필드 모델)과 같이 불연속성 또는 다중 척도 특성을 가진 PDE의 정확한 시뮬레이션을 가능하게 하는 것.

제안 방법

• PDE 시뮬레이션에서 유도된 공간-시간 데이터 시퀀스를 처리하기 위해 이원방향 LSTM 인코더를 포함한 시퀀스-투-시퀀스(Seq2Seq) 아키텍처를 활용한다.
• 이중방향 LSTM의 은닉 상태를 사용해 각 시간 단계에서 시스템의 전체 공간-시간 상태를 인코딩함으로써 장기 의존성 학습이 가능하다.
• 다음 $ n $개 시간 단계의 해를 예측하기 위해 디코더 LSTM을 적용하며, 시간 단계 간에 가중치를 공유함으로써 파rameter 수와 계산 비용을 감소시킨다.
• 압력 $ p imes 10^5 $와 같은 큰 동적 범위를 가진 변수는 시그모이드 함수를 사용해 정규화하여 학습 안정성과 특징 추출 성능을 향상시킨다.
• 고정밀 수치 해법기구(예: Crank-Nicolson FEM을 사용하는 FreeFem++)에서 생성된 시계열 데이터를 사용해 지도 학습 방식으로 모델을 훈련시킨다.
• RNN의 본질적인 시간 스텝 구조를 활용해 기존 수치 해법(예: 전진 오일러, Crank-Nicolson)을 모방함으로써, 네트워크가 내재된 PDE 연산자를 암묵적으로 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 방정식 형태를 사전에 알지 못한 채 시간에 따라 변화하는 PDE의 거버닝 역학을 학습할 수 있는가?
• RQ2 순환 신경망 아키텍처가 다차원 공간에서 PDE 해의 장기적 시간 의존성을 효과적으로 포착할 수 있는가?
• RQ3 RNN 기반 프레임워크에서 시간 단계 간의 가중치 공유가 완전히 연결된 신경망 또는 컨볼루션 신경망과 비교해 모델 효율성과 예측 정확도에 어떤 영향을 미치는가?
• RQ4 복잡한 유체 시스템에서 서로 다른 척도를 가진 변수들(예: 속도, 압력, 상필드)을 동시에 학습하고 예측할 수 있는가?
• RQ5 불연속적인 해나 높은 비선형성을 가지는 PDE(예: Cahn-Hilliard-Navier-Stokes 시스템)에 대해 모델이 얼마나 잘 일반화되는가?

주요 결과

• Neural-PDE는 1차원 및 다차원 PDE, 특히 매우 비선형적인 Cahn-Hilliard-Navier-Stokes 시스템까지도 높은 정확도로 학습 및 예측할 수 있었다.
• 복잡한 유체 시험 케이스에서 압력 및 상필드 변수에 대해 평균 제곱오차(MSE)가 $ 6.1631 imes 10^{-7} $로 나타나 정확한 해와 뛰어난 일치를 보였다.
• 학습이 20 에포크 이내에 수렴하여, PDE 시스템의 복잡성에도 불구하고 빠른 학습을 보였다.
• 시그모이드 정규화를 통해 극명하게 다른 크기의 변수들(예: $ ho imes 10^{-5} $)을 효과적으로 처리하여 학습 안정성을 향상시켰다.
• 시간 단계 간의 가중치 공유 덕분에 표준 MLP 또는 CNN 기반 PDE 해법기구에 비해 모델 복잡도와 계산 비용이 크게 감소했다.
• 모델은 연속적이고 불연속적인 해 모두에 대해 일반화 가능하며, 데이터로부터 초기 조건과 경계 조건을 암묵적으로 추론할 수 있었다.