[논문 리뷰] Deep Neural Network Modeling of Unknown Partial Differential Equations in Nodal Space

Zhen Chen, Victor Churchill외 2명|arXiv (Cornell University)|2021. 06. 07.

Model Reduction and Neural Networks참고 문헌 34인용 수 50

한 줄 요약

이 논문은 물리적(노드 기반) 공간에서 해 궤적 데이터로부터 직접 알려지지 않은 시간에 의존하는 편미분방정식(PDE)을 학습하기 위한 딥뉴럴네트워크(DNN) 프레임워크를 제안한다. 이 방법은 모달 변환 또는 기하 정보가 필요로 하지 않는다. 이론적으로는 PDE의 시간단계 진화 연산자를 모방하는 새로운 DNN 아키텍처를 사용하며, 이는 정렬된 격자와 비정렬 격자 모두에서 정확한 모델링이 가능하게 하며, 비선형 PDE인 점성 없는 버거스 방정식과 같은 충격을 포착할 수 있다.

ABSTRACT

We present a numerical framework for deep neural network (DNN) modeling of unknown time-dependent partial differential equations (PDE) using their trajectory data. Unlike the recent work of [Wu and Xiu, J. Comput. Phys. 2020], where the learning takes place in modal/Fourier space, the current method conducts the learning and modeling in physical space and uses measurement data as nodal values. We present a DNN structure that has a direct correspondence to the evolution operator of the underlying PDE, thus establishing the existence of the DNN model. The DNN model also does not require any geometric information of the data nodes. Consequently, a trained DNN defines a predictive model for the underlying unknown PDE over structureless grids. A set of examples, including linear and nonlinear scalar PDE, system of PDEs, in both one dimension and two dimensions, over structured and unstructured grids, are presented to demonstrate the effectiveness of the proposed DNN modeling. Extension to other equations such as differential-integral equations is also discussed.

연구 동기 및 목표

• 방정식 형태에 대한 사전 지식 없이, 제한적이고 노이즈가 있는 궤적 데이터로부터 알려지지 않은 시간에 의존하는 PDE를 발견하는 데 도전한다.
• 기존 방법들이 모달(푸리에) 공간에 의존하거나 데이터 격자에 기하학적 구조가 필요로 하는 한계를 극복한다.
• 스칼라 및 PDE 시스템을 포함한 다양한 PDE 유형을 1D 및 2D 영역에서 모델링할 수 있는 일반적이고 메쉬프리인 DNN 프레임워크를 개발한다.
• DNN 모델의 존재성을 수학적으로 기반화하기 위해, 아키텍처를 기반 PDE의 진화 연산자와 직접 연결한다.
• 선형 및 비선형 PDE, 비정상적 동역학 및 충격을 포함한 복잡한 문제에서 메쉬프리 격자에서의 방법의 강건성과 정확성을 입증한다.

제안 방법

• 학습 과제를 다수의 궤적에서 얻은 스크래치 쌍 (u(t), u(t+Δt))를 사용하여 알려지지 않은 PDE의 시간 진화 연산자를 근사하는 것으로 설정한다.
• 물리 공간에서 PDE의 시간단계 과정을 직접 모방하는 새로운 DNN 아키텍처를 제안하며, 이는 분해 블록과 어셈블리 레이어로 구성된다.
• 해의 노드 값만을 입력 및 출력으로 사용하여 스펙트럼 또는 모달 공간으로의 변환을 피함으로써, 사전 정의된 기저 함수가 필요 없게 된다.
• 유량 맵 기반 접근 방식을 사용하여 DNN을 훈련시키며, 도함수 데이터가 필요 없이 시간 t의 상태에서 t+Δt 상태로의 매핑을 학습한다.
• 기하 정보 없이도 임의의 노드 구성에서 작동하도록 DNN을 설계하여 비정렬 격자를 활용할 수 있도록 한다.
• 하이퍼파rameter는 문제에 따라 조정된 표준 딥러닝 훈련 절차(예: Adam 최적화기, tanh 활성화 함수, 배치 훈련)를 적용한다.

실험 결과

연구 질문

• RQ1 노드 기반 해 데이터만을 사용하여, 알려지지 않은 PDE의 진화 연산자를 정확하게 모델링할 수 있는가?
• RQ2 기하학적 또는 위상적 사전 지식 없이도, 제안된 DNN 아키텍처가 비정렬 격자에서 정확성과 일반화 능력을 유지하는가?
• RQ3 이 방법은 선형 및 비선형 PDE, PDE 시스템, 그리고 불연속 해를 포함한 방정식을 효과적으로 학습할 수 있는가?
• RQ4 모달 또는 스펙트럼 공간에서 작동하는 기존 방법과 비교해 볼 때, 노드 공간 DNN의 성능은 어떠한가?
• RQ5 DNN은 훈련 데이터를 초월하여 새로운 초기 조건에 대해 얼마나 잘 일반화되며, 장기적인 동역학을 얼마나 정확하게 예측할 수 있는가?

주요 결과

• 제안된 DNN 프레임워크는 1D 정렬 격자에서 점성 버거스 방정식의 동역학을 성공적으로 학습하고 예측하며, t = 2에서 충격 형성 현상을 정확히 포착한다.
• 점성 없는 버거스 방정식의 경우, DNN 모델은 t = 2에서 충격 불연속성의 발생을 정확히 예측하며, 충격 근처에서 수치 해와 일치하는 작은 진동이 관찰된다.
• 1D 선형 파동 시스템에 대해 10,000개의 궤적에서 장기 예측을 정확하게 수행하였으며, t = 10까지 기준 해와 일치하는 예측 결과를 보였다.
• 2D 비정렬 격자에서 DNN 모델은 t = 4까지의 확산-대류 방정식 동역학을 정확히 예측하였으며, 가우시안 초기 조건에 대해 기준 해와 양호한 일치를 보였다.
• 모든 테스트 문제에서, DNN 모델은 비정상적인 초기 조건, 즉 조각별 상수 및 부드러운 가우시안 프로파일에 대해 잘 일반화된다.
• 데이터 희소성과 노이즈에 대해 강건함을 입증하였으며, 랜덤 초기 조건과 수치 해법으로 생성된 훈련 데이터에서도 정확한 예측이 가능하다.