[논문 리뷰] GrADE: A graph based data-driven solver for time-dependent nonlinear partial differential equations

Y V Ravi Kumar, Souvik Chakraborty|arXiv (Cornell University)|2021. 08. 24.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 그래프 신경망(GNN)을 활용한 공간 모델링, 신경 미분방정식(ODE)을 통한 시간 진화 모델링, 그리고 특징 가중치 향상을 위한 어텐션 메커니즘을 결합한 새로운 그래프 기반 데이터 기반 솔버인 GrADE를 제안한다. 이 프레임워크는 깊이 정련 기법을 통해 훈련 시간을 단축하고 일반화 성능을 향상시키며, 1D 및 2D 버거스 방정식에 대해 정확하고 확장 가능한 해를 도출한다. 기존의 유한요소법(FEM) 기반 벤치마크보다 더 큰 시간 스텝을 사용하면서도 높은 정확도를 유지한다.

ABSTRACT

The physical world is governed by the laws of physics, often represented in form of nonlinear partial differential equations (PDEs). Unfortunately, solution of PDEs is non-trivial and often involves significant computational time. With recent developments in the field of artificial intelligence and machine learning, the solution of PDEs using neural network has emerged as a domain with huge potential. However, most of the developments in this field are based on either fully connected neural networks (FNN) or convolutional neural networks (CNN). While FNN is computationally inefficient as the number of network parameters can be potentially huge, CNN necessitates regular grid and simpler domain. In this work, we propose a novel framework referred to as the Graph Attention Differential Equation (GrADE) for solving time dependent nonlinear PDEs. The proposed approach couples FNN, graph neural network, and recently developed Neural ODE framework. The primary idea is to use graph neural network for modeling the spatial domain, and Neural ODE for modeling the temporal domain. The attention mechanism identifies important inputs/features and assign more weightage to the same; this enhances the performance of the proposed framework. Neural ODE, on the other hand, results in constant memory cost and allows trading of numerical precision for speed. We also propose depth refinement as an effective technique for training the proposed architecture in lesser time with better accuracy. The effectiveness of the proposed framework is illustrated using 1D and 2D Burgers' equations. Results obtained illustrate the capability of the proposed framework in modeling PDE and its scalability to larger domains without the need for retraining.

연구 동기 및 목표

• 비정규 영역에서 비선형 PDE를 풀기 위한 기존 수치적 솔버의 계산 비효율성과 한계를 해결하기 위해.
• 완전히 연결된 신경망과 컨볼루션 신경망이 비정규 구조 데이터 및 비정규 기하학적 구조를 처리하는 데 빈도 높은 한계를 극복하기 위해.
• 공간 역학은 그래프 어テン션을, 시간 역학은 신경 ODE를 통해 모델링하는 기울기 가능하고 종단 간(end-to-end) 프레임워크를 개발하기 위해.
• 새로운 깊이 정련 전략을 통해 훈련 효율성과 해의 정확도를 향상시키기 위해.
• 최소한의 훈련 데이터와 큰 시간 스텝을 사용하여 버거스 방정식과 같은 벤치마크 PDE에 대해 프레임워크를 검증하기 위해.

제안 방법

• 프레임워크는 도메인을 그래프로 표현함으로써 공간적 의존성을 모델링하기 위해 그래프 신경망(GAT)을 사용한다. 여기서 노드는 공간 점에 대응하고, 간선은 이웃 관계를 나타낸다.
• 피드포워드 네트워크를 통해 구현된 어텐션 메커니즘은 이웃 노드에 대한 중요도를 동적으로 할당함으로써 특징 표현력과 모델의 표현력을 향상시킨다.
• 시간 진화는 신경 ODE를 통해 모델링되며, 이는 시간 도함수를 연속 함수로 파arameter화함으로써 일정한 메모리 비용과 탄력적인 시간 적분을 가능하게 한다.
• 두 단계의 그래프 네트워크 아키텍처를 채택한다: 첫 번째 레이어는 일阶 도함수를 근사하고, 두 번째 레이어는 이阶 도함수를 근사하며, 중심 차분과의 비교를 통해 검증된다.
• 훈련 중에 네트워크 깊이를 점진적으로 증가시키는 깊이 정련 기법을 도입하여 수렴 속도와 정확도를 향상시킨다.
• 전체 궤적 감독이 필요 없이도 희소한 시간 포인트에서 PDE 만족 조건을 강제하는 물리 기반 손실 함수를 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 그래프 기반 딥러닝 프레임워크는 시간 의존 PDE의 비정규 영역에서 공간 역학을 효과적으로 모델링할 수 있는가?
• RQ2 그래프 어텐션과 신경 ODE를 조합할 경우, 기존의 PINN 또는 FNN에 비해 해의 정확도와 훈련 효율성이 어떻게 향상되는가?
• RQ3 제안된 깊이 정련 전략은 훈련 시간을 얼마나 줄일 수 있으며, 해의 정확도를 유지하거나 향상시키는 데 기여하는가?
• RQ4 재학습 없이도 두 개의 초기 스냅샷만으로도 더 큰 영역과 더 긴 시간 범위에 대해 일반화가 가능한가?
• RQ5 학습된 그래프 네트워크 레이어가 중심 차분과 같은 수치적 방법에 비해 진짜 공간 도함수를 얼마나 잘 근사하는가?

주요 결과

• GrADE는 훈련 데이터로 두 개의 시간 스냅샷만을 사용하여 1D 및 2D 버거스 방정식을 높은 정확도로 해결한다. 이는 데이터 요구량을 크게 줄인다.
• 재학습 없이도 더 큰 영역과 더 긴 시간 범위로 일반화가 잘 되어 있으며, 강력한 확장성을 보여준다.
• 그래프 네트워크 레이어는 일阶 및 이阶 공간 도함수를 정확히 근사하며, 중심 차분 계산 결과와 매우 유사한 결과를 도출한다.
• GAT 레이어에서 피드포워드 네트워크를 사용한 어텐션 가중치가 타일러 넷 기반 대안보다 약간 더 높은 정확도를 보였다.
• 깊이 정련은 훈련 시간을 단축시키고 수렴을 향상시켜, 일정 깊이 유지 훈련에 비해 더 빠르고 정확한 훈련을 가능하게 한다.
• 신경 ODE 구성 요소는 일정한 메모리 비용을 제공하며, 수치 정밀도와 속도 사이의 트레이드오���을 가능하게 하여 계산 효율성을 향상시킨다.