[논문 리뷰] Message Passing Neural PDE Solvers

J. Brandstetter, Daniel E. Worrall외 1명|arXiv (Cornell University)|2022. 02. 07.

Model Reduction and Neural Networks인용 수 61

한 줄 요약

MP-PDE를 소개하는, 그래프 신경망 기반의 완전한 신경망 자동회귀 편미분방정식(PDE) 해석기로, PDE들, 도메인 및 경계 조건 전반에 일반화되며, pushforward 트릭과 시간적 묶임과 같은 안정성 기법을 갖춘다.

ABSTRACT

The numerical solution of partial differential equations (PDEs) is difficult, having led to a century of research so far. Recently, there have been pushes to build neural--numerical hybrid solvers, which piggy-backs the modern trend towards fully end-to-end learned systems. Most works so far can only generalize over a subset of properties to which a generic solver would be faced, including: resolution, topology, geometry, boundary conditions, domain discretization regularity, dimensionality, etc. In this work, we build a solver, satisfying these properties, where all the components are based on neural message passing, replacing all heuristically designed components in the computation graph with backprop-optimized neural function approximators. We show that neural message passing solvers representationally contain some classical methods, such as finite differences, finite volumes, and WENO schemes. In order to encourage stability in training autoregressive models, we put forward a method that is based on the principle of zero-stability, posing stability as a domain adaptation problem. We validate our method on various fluid-like flow problems, demonstrating fast, stable, and accurate performance across different domain topologies, equation parameters, discretizations, etc., in 1D and 2D.

연구 동기 및 목표

• 해상도, 토폴로지, 기하학, 경계 조건, 이산화, 차원성에 걸쳐 일반화되는 엔드-투-엔드 신경 PDE 해석기를 동기 부여한다.
• 고전 솔버(FDM/FVM/WENO)를 특수한 경우로 포섭하는 신경 메시지 전달 아키텍처를 제안한다.
• 푸시포워드 트릭과 시간적 묶임으로 증가하는 학습 불안정성에 대응하고 제로-안정성을 개선한다.
• 하나의 클래스 내 여러 PDE에 대해 일반화를 가능하게 하고 추론 시 보지 못한 PDE 계수를 테스트할 수 있도록 지원한다.

제안 방법

• 계산 격자를 그래프로 모델링하고 Encode-Process-Decode 프레임워크에서 그래프 신경망을 사용한다.
• PDE 해석기를 고전적 도함수/유량 계산을 모방하는 학습된 메시지 전달 업데이트의 시퀀스로 나타낸다.
• 네트워크에 PDE 매개변수와 경계 조건을 주입하기 위해 방정식 임베딩 벡터를 사용한다.
• 일관성을 강제하고 안정성을 위한 다수의 미래 시점을 공동으로 출력하는 디코더를 적용한다.
• 배포 시프트를 완화하기 위해 1단계 항과 안정성(pushforward) 항을 포함하는 결합 손실로 학습한다.
• 롤아웃 오차와 계산량을 줄이기 위해 여러 시간 단계를 병렬로 예측하는 시간적 묶임을 활용한다.]

실험 결과

연구 질문

• RQ1 클래스 내의 서로 다른 PDE와 다양한 도메인 기하학 및 경계 조건에 대해 신경 메시지 전달 해석기가 일반화할 수 있는가?
• RQ2 안정성 지향 학습 전략(푸시포워드 및 시간적 묶임)이 장기 롤아웃 정확도를 개선하고 자기회귀 오류를 완화하는가?
• RQ3 MP-PDE 해석기가 고전적 해석기(FDM/FVM/WENO) 동작을 어느 정도 재현하고 불규칙한 격자 및 고차원(1D/2D)으로 일반화할 수 있는가?
• RQ4 PDE 계수 θPDE에 조건화를 두었을 때 보지 못한 매개변수 구성에서 일반화에 어떤 영향을 미치는가?
• RQ5 멀티물리학 유사 문제들(예: Burgers, 열, KdV, Navier–Stokes 유래 설정)에 대한 MP-PDE의 성능은 최첨단 신경 연산자 및 고전 해석기와 비교해 어떤가?

주요 결과

• MP-PDE 해석기는 해상도, 도메인 위상, 기하학, 경계 조건 및 차원(1D 및 2D)을 전반에 걸쳐 일반화한다.
• 신경 메시지 전달은 유한 차분(FDM), 유한 부피(FVM), WENO와 같은 고전 해석기를 그 자체의 아키텍처 내에서 표현하고 재현할 수 있다.
• 안정성에 중점을 둔 학습(푸시포워드 트릭)과 시간적 묶임은 롤아웃 안정성을 크게 개선하고 자기회귀 예측에서의 오차 누적을 줄인다.
• MP-PDE는 보지 못한 PDE들에 대해 WENO5 및 autoregressive FNO-RNN보다 우수한 성능을 보이고, PDE 매개변수 조건화 θPDE의 이점을 얻는다.
• 비주기적 경계 조건에서 MP-PDE는 페이즈 스펙트럴 방법보다 우수한 성능을 보일 수 있으며, θPDE 특성이 주어지면 경계 조건 간 일반화가 가능하다.
• Navier–Stokes 영감을 받은 흐름(PhiFlow 데이터)에 대한 2D 예비 실험은 고차원으로의 확장이 가능함을 시사한다.