[논문 리뷰] Towards Multi-spatiotemporal-scale Generalized PDE Modeling

Jayesh K. Gupta, J. Brandstetter|arXiv (Cornell University)|2022. 09. 30.

Model Reduction and Neural Networks인용 수 28

한 줄 요약

이 논문은 다중 규모 유체 역학에 대한 PDE 대리모로 Fourier Neural Operators, ResNets, 및 U-Nets를 비교하여, U-Nets가 PDE 매개변수와 시간 규모에 걸쳐 일반화가 잘 되고, PyTorch 벤치마크 프레임워크를 통해 쉽게 비교할 수 있음을 보인다.

ABSTRACT

Partial differential equations (PDEs) are central to describing complex physical system simulations. Their expensive solution techniques have led to an increased interest in deep neural network based surrogates. However, the practical utility of training such surrogates is contingent on their ability to model complex multi-scale spatio-temporal phenomena. Various neural network architectures have been proposed to target such phenomena, most notably Fourier Neural Operators (FNOs), which give a natural handle over local & global spatial information via parameterization of different Fourier modes, and U-Nets which treat local and global information via downsampling and upsampling paths. However, generalizing across different equation parameters or time-scales still remains a challenge. In this work, we make a comprehensive comparison between various FNO, ResNet, and U-Net like approaches to fluid mechanics problems in both vorticity-stream and velocity function form. For U-Nets, we transfer recent architectural improvements from computer vision, most notably from object segmentation and generative modeling. We further analyze the design considerations for using FNO layers to improve performance of U-Net architectures without major degradation of computational cost. Finally, we show promising results on generalization to different PDE parameters and time-scales with a single surrogate model. Source code for our PyTorch benchmark framework is available at https://github.com/microsoft/pdearena.

연구 동기 및 목표

• 다층 시공 간 현상을 다루는 다양한 신경계 PDE 대리 구조가 유체 역학에서 다중 스케일 시공 간 현상을 어떻게 처리하는지 조사한다.
• PDE 매개변수와 시간 스케일 전반에 걸친 일반화 능력을 평가한다.
• 아키텍처를 나란히 비교하기 위한 통합 PyTorch 기반 벤치마크 프레임워크를 개발하고 제공한다.
• U-Net의 다운샘플링 및 정보 흐름을 개선하기 위한 아키텍처 적응을 탐색하고 이는 PDE 학습에 미치는 영향을 평가한다.

제안 방법

• 속도 및 vorticity 형식의 유체역학 PDE에서 FNO, ResNet, 및 U-Net 유사 아키텍처를 비교한다.
• 현대식 U-Net 개선을 구현하고 하위 블록을 FNO 계층으로 대체하여 하이브리드 설계를 연구한다.
• 사인곡선 임베딩을 통한 매개변수 컨디셔닝으로 시간 창과 외력 전반에 걸친 일반화를 촉진한다.
• AdamW 최적화와 코사인 어닐링 스케줄을 사용하여 one-step 및 rollout MSE 손실을 평가한다.
• 재현성과 비교를 위해 참조된 GitHub 저장소의 PyTorch 벤치마크 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 단일 대리 모델이 유체 역학 과제에서 서로 다른 PDE 매개변수와 시간 스케일에 걸쳐 일반화할 수 있는가?
• RQ2 Navier-Stokes 및 얕은 물 방정식의 연산자 학습에서 FNO, ResNet, U-Net 아키텍처의 비교는 어떻게 되는가?
• RQ3 U-Net의 다운샘플링/업샘플링 경로에 FNO 블록을 포함시키는 것이 시간 스케일과 매개변수 전반에 걸친 일반화를 개선하는가 아니면 저해하는가?
• RQ4 PDE 대리에서 시간 이산화 및 외부 힘을 조건화하는 효과적인 전략은 무엇인가?

주요 결과

• U-Net 아키텍처는 일반적으로 테스트된 PDE 과제에서 최상의 성능을 제공하며, 여러 설정에서 FNO를 능가한다.
• U-Nets에 FNO 블록을 추가하는(U-FNet 변형)은 특정 다운샘플링 시나리오를 개선할 수 있지만 일반화 능력을 보편적으로 향상시키지는 않는다.
• FNO 기반 모델은 매개변수 컨디셔닝과 잡음에 민감하게 나타나 시간 스케일 및 매개변수에 대한 일반화를 어렵게 한다.
• 사인파 임베딩을 통한 매개변수 컨디셔닝은 보지 못한 시간 창과 힘 값에 대한 일반화를 가능하게 하며, U-Net이 보통 보간/외삽에서 뛰어나다.
• 확장된 Dilated ResNets 및 FNO는 특정 형식(예: 얕은 물, 속도)에서 잘 작동하지만 다중 규모 PDE에 대해 최적화된 U-Net보다 뒤처질 수 있다.