[논문 리뷰] Neural Time-Dependent Partial Differential Equation

Yihao Hu, Tong Zhao외 2명|arXiv (Cornell University)|2021. 05. 04.

Model Reduction and Neural Networks참고 문헌 25인용 수 6

한 줄 요약

이 논문은 시간에 따라 변화하는 편미분방정식(PDE)의 해를 데이터로부터 사전 지식 없이 자동으로 학습하고 시뮬레이션할 수 있는 순서-순서(sequence-to-sequence) 학습 프레임워크인 Neural-PDE를 제안한다. 이는 이중 방향 LSTM 인코더를 사용하며, 모든 시스템 변수를 동시에 모델링하고, 시간 단계 간에 공유 파rameter를 통해 계산 복잡도를 감소시킨다. 이로 인해 20 에포크 이내에 높은 정확도의 예측을 달성한다.

ABSTRACT

Partial differential equations (PDEs) play a crucial role in studying a vast number of problems in science and engineering. Numerically solving nonlinear and/or high-dimensional PDEs is frequently a challenging task. Inspired by the traditional finite difference and finite elements methods and emerging advancements in machine learning, we propose a sequence-to-sequence learning (Seq2Seq) framework called Neural-PDE, which allows one to automatically learn governing rules of any time-dependent PDE system from existing data by using a bidirectional LSTM encoder, and predict the solutions in next n time steps. One critical feature of our proposed framework is that the Neural-PDE is able to simultaneously learn and simulate all variables of interest in a PDE system. We test the Neural-PDE by a range of examples, from one-dimensional PDEs to a multi-dimensional and nonlinear complex fluids model. The results show that the Neural-PDE is capable of learning the initial conditions, boundary conditions and differential operators defining the initial-boundary-value problem of a PDE system without the knowledge of the specific form of the PDE system. In our experiments, the Neural-PDE can efficiently extract the dynamics within 20 epochs training and produce accurate predictions. Furthermore, unlike the traditional machine learning approaches for learning PDEs, such as CNN and MLP, which require great quantity of parameters for model precision, the Neural-PDE shares parameters among all time steps, and thus considerably reduces computational complexity and leads to a fast learning algorithm.

연구 동기 및 목표

• 시간에 따라 변화하는 PDE 시스템의 지배 규칙을 해석적 형태를 알지 못한 채 데이터 기반으로 자동으로 발견할 수 있는 프레임워크를 개발하는 것.
• 기존 방법으로는 계산 비용이 매우 높은 비선형성과 고차원성을 가진 PDE를 수치적으로 해결하는 데 도전하는 것.
• 각 변수에 대해 별도의 모델을 사용하지 않고도 PDE 시스템의 모든 변수를 동시에 학습하고 예측할 수 있도록 하는 것.
• 기존의 PDE를 위한 딥러닝 모델과 달리 시간 단계 간에 파rameter를 공유함으로써 모델 복잡도와 학습 비용을 감소시키는 것.
• 1D부터 복잡한 다차원 유체역학 시스템에 이르기까지 다양한 PDE에 대해 본 방법의 효과성을 입증하는 것.

제안 방법

• 프레임워크는 PDE 시스템의 역사적 시계열 데이터를 처리하기 위해 이중 방향 장기 단기 기억(Long Short-Term Memory, LSTM) 인코더를 활용한다.
• 다음 n개 시간 단계의 해를 예측하기 위해 순서-순서(Seq2Seq) 아키텍처를 사용하며, 디코더는 인코딩된 컨텍스트를 기반으로 미래 상태를 생성한다.
• 모델은 모든 시간 단계 간에 파rameter를 공유함으로써 훈련 가능한 파rameter 수와 계산 비용을 크게 감소시킨다.
• 모델은 명시적인 지정 없이도 데이터로부터 초기 조건과 경계 조건을 암묵적으로 학습한다.
• 프레임워크는 관측된 데이터로부터 전체 PDE 역학, 포함된 미분 연산자까지 재구성할 수 있도록 엔드 투 엔드로 훈련된다.
• 선형 및 비선형 PDE를 모두 처리할 수 있도록 설계되었으며, 다차원 유체역학 모델과 같은 복잡한 시스템에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 딥러닝 프레임워크가 방정식 형태를 사전에 알지 못한 채 관측 데이터로부터 지배적인 PDE 역학을 자동으로 발견할 수 있는가?
• RQ2 모델은 다변수 PDE 시스템의 모든 변수를 동시에 고정된 정확도로 학습하고 예측할 수 있는가?
• RQ3 Seq2Seq 아키텍처에서 시간 단계 간에 파rameter를 공유함으로써 기존의 MLP나 CNN 접근 방식에 비해 수렴 속도가 빠르고 계산 복잡도가 낮아지는가?
• RQ4 비선형성과 고차원성을 지닌 PDE, 특히 복잡한 유체역학 시스템에 대해 모델의 일반화 능력은 얼마나 뛰어난가?
• RQ5 모델은 명시적인 입력 없이도 데이터에서 직접 초기 조건과 경계 조건을 추론할 수 있는가?

주요 결과

• Neural-PDE는 방정식 형태를 사전에 알지 못한 채 데이터로부터 지배적인 PDE 역학을 성공적으로 학습하였으며, 이는 미분 연산자와 경계 조건을 포함한다.
• 모델은 20 에포크 이내에 정확한 예측을 달성하여 빠른 수렴을 보였다.
• 시간 단계 간에 파rameter를 공유함으로써 기존의 MLP나 CNN 접근 방식에 비해 파rameter 수를 크게 감소시켜 계산 복잡도를 낮췄다.
• 프레임워크는 고정밀도로 다차원 비선형 PDE 시스템, 예를 들어 복잡한 유체 모델을 효과적으로 시뮬레이션할 수 있었다.
• 파ram터 효율성과 학습 속도 측면에서 기존의 PDE를 위한 기계학습 모델보다 본 방법이 뛰어났다.
• 이중 방향 LSTM 인코더는 제한된 데이터로부터도 공간-시간 역학의 강력한 표현 학습을 가능하게 하였다.