[논문 리뷰] Learning continuous-time PDEs from sparse data with graph neural networks

Valerii Iakovlev, Markus Heinonen외 1명|arXiv (Cornell University)|2020. 06. 16.

Model Reduction and Neural Networks인용 수 14

한 줄 요약

이 논문은 희박하고 비정규적인 시공간 데이터로부터 알려지지 않은 편미분방정식(PDE)을 학습하는 연속시간 그래프 신경망(GNN) 프레임워크를 제안한다. 선형 방법과 메시지 전달 GNN을 조합하고 연속시간 애드조인트 방법을 통해 학습함으로써, 이 모델은 비정규격자와 임의의 시간 간격에서의 고정밀도 PDE 발견을 가능하게 하며, 열, 대류-확산, 버거스 방정식을 포함한 복잡한 물리계통에서 이산시간 기반 모델을 능가한다.

ABSTRACT

The behavior of many dynamical systems follow complex, yet still unknown partial differential equations (PDEs). While several machine learning methods have been proposed to learn PDEs directly from data, previous methods are limited to discrete-time approximations or make the limiting assumption of the observations arriving at regular grids. We propose a general continuous-time differential model for dynamical systems whose governing equations are parameterized by message passing graph neural networks. The model admits arbitrary space and time discretizations, which removes constraints on the locations of observation points and time intervals between the observations. The model is trained with continuous-time adjoint method enabling efficient neural PDE inference. We demonstrate the model's ability to work with unstructured grids, arbitrary time steps, and noisy observations. We compare our method with existing approaches on several well-known physical systems that involve first and higher-order PDEs with state-of-the-art predictive performance.

연구 동기 및 목표

• 정규 격자와 이산시간 근사에 의존하는 기존 PDE 학습 방법의 한계를 해결한다.
• 공간과 시간 모두에서 희박하고 비정규적으로 분포된 관측치로부터 정확한 PDE 발견을 가능하게 한다.
• 임의의 시간 적분과 공간 이산화를 지원하는 연속시간 동역학 모델을 개발한다.
• 그래프 신경망을 선형 방법과 통합하여 공간 도함수를 모델링하면서도 물리적 구조를 유지한다.
• 고정된 관측 간격이나 격자 구조를 가정하지 않고 노이즈가 많은, 희박하고 비균일한 데이터에서도 강건한 성능을 달성한다.

제안 방법

• 노드가 관측 위치에 대응하고 간선이 상대적 공간 위치를 표현하는 그래프로 공간 영역을 표현한다.
• 각 시간 단계에서 노드 특징에서 공간 도함수(예: ∇u, ∇²u)를 추정하기 위해 메시지 전달 GNN을 적용한다.
• PDE의 우변 F를 GNN으로 매개변수화하고, 연속시간 ODE 솔버를 사용해 시스템의 시간 진화를 모델링한다.
• 시간에 따른 역전파를 효율적으로 수행하기 위해 연속시간 애드조인트 방법을 사용해 모델을 학습한다. 이는 종단간 최적화를 가능하게 한다.
• 공간 영역을 그래프로 이산화하면서도 동역학의 연속시간 성격을 유지하기 위해 선형 방법을 사용한다.
• 공간 유도 편향을 향상시키고 일반화 성능을 향상시키기 위해 상대적 노드 위치를 간선 특징으로 통합한다.

실험 결과

연구 질문

• RQ1 그래프 신경망 프레임워크는 공간과 시간 모두에서 희박하고 비정규적으로 샘플링된 데이터로부터 알려지지 않은 PDE를 학습할 수 있는가?
• RQ2 GNN 간선 특징에 상대적 공간 위치를 통합할 경우, 방향성 운동이 중요한 PDE에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 시간적으로 희박하거나 비균일한 데이터일 경우, 연속시간 설정이 이산시간 모델보다 얼마나 뛰어나게 성능을 높이는가?
• RQ4 열 방정식과 같은 단순한 확산계통에 비해 비선형 항이 포함된 복잡한 PDE(예: 버거스 방정식)에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ5 밀도 높은 또는 정규 격자가 없는 조건에서도 모델은 노이즈가 많은 관측치와 감소한 데이터 밀도 상황에서 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 모델은 희박하고 비정규적인 관측치가 있는 상황에서도 열 방정식, 대류-확산 방정식, 버거스 방정식에서 최신 기술 성능을 달성한다.
• 간선 특징에 상대적 공간 위치를 포함시킴으로써 모델 정확도가 크게 향상되며, 특히 방향성 운동이 중요한 대류-확산 및 버거스 방정식에서 두드러진다.
• 노드 수가 100%에서 50%로 감소할 경우, 공간 위치 인코딩이 없는 GNODE와 비교해 성능 격차가 거의 두 배로 증가하여 공간 유도 편향의 중요성을 입증한다.
• 순수하게 확산적인 열 방정식에서는 공간 인코딩을 명시적으로 제공하지 않더라도 높은 정확도를 유지하지만, 이러한 정보가 생략될 경우 성능이 저하된다.
• 애드조인트 방법을 통한 연속시간 학습은 효율적인 최적화를 가능하게 하며, 적응형 시간 적분을 지원해 희박한 데이터에서의 일반화 성능을 향상시킨다.
• 비선형 항이 포함된 복잡한 비선형 PDE, 예를 들어 버거스 방정식에 대해서도 모델은 비선형 파동 전파 및 소산 효과를 충분히 정확하게 포착할 수 있을 정도의 정확도를 달성한다.