[論文レビュー] Towards Multi-spatiotemporal-scale Generalized PDE Modeling

Jayesh K. Gupta, J. Brandstetter|arXiv (Cornell University)|Sep 30, 2022

Model Reduction and Neural Networks被引用数 28

ひとこと要約

本論文は Fourier Neural Operators、ResNets、U-Nets を多尺度流体力学の PDE代理モデルとして比較し、U-Nets が PDE パラメータと時間スケール全般で一般化性能が高いことを示し、比較を容易にする PyTorch ベンチマークフレームワークを提供している。

ABSTRACT

Partial differential equations (PDEs) are central to describing complex physical system simulations. Their expensive solution techniques have led to an increased interest in deep neural network based surrogates. However, the practical utility of training such surrogates is contingent on their ability to model complex multi-scale spatio-temporal phenomena. Various neural network architectures have been proposed to target such phenomena, most notably Fourier Neural Operators (FNOs), which give a natural handle over local & global spatial information via parameterization of different Fourier modes, and U-Nets which treat local and global information via downsampling and upsampling paths. However, generalizing across different equation parameters or time-scales still remains a challenge. In this work, we make a comprehensive comparison between various FNO, ResNet, and U-Net like approaches to fluid mechanics problems in both vorticity-stream and velocity function form. For U-Nets, we transfer recent architectural improvements from computer vision, most notably from object segmentation and generative modeling. We further analyze the design considerations for using FNO layers to improve performance of U-Net architectures without major degradation of computational cost. Finally, we show promising results on generalization to different PDE parameters and time-scales with a single surrogate model. Source code for our PyTorch benchmark framework is available at https://github.com/microsoft/pdearena.

研究の動機と目的

• 流体力学における多尺度の時空現象を、異なるニューラル PDE 代理アーキテクチャがどのように扱うかを調査する。
• PDE パラメータと時間スケール全般にわたる一般化能力を評価する。
• 並列比較のための統一的な PyTorch ベースのベンチマークフレームワークを開発・提供する。
• U-Nets のダウンサンプリングと情報フローを改善するためのアーキテクチャ適応を探究し、それらが PDE 学習へ与える影響を評価する。

提案手法

• 速度と渦度の定式化における流体力学の PDE に対して FNO、ResNet、U-Net 系アーキテクチャを比較する。
• 現代的な U-Net の改良を実装し、下位ブロックを FNO 層に置換してハイブリッド設計を研究する。
• 時間窓と外力を一般化するためにサイン型埋め込みによるパラメータ条件付けを用いる。
• 1ステップおよびロールアウト MSE 損失を AdamW 最適化とコサインアニーリングスケジュールで評価する。
• 再現性と比較のために参照された GitHub リポジトリに PyTorch ベンチマークフレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 単一の代理モデルが流体力学タスクの異なる PDE パラメータと時間スケール全般に一般化できるか。
• RQ2 Navier-Stokes 方程式と浅水方程式の演算子学習において、FNO、ResNet、U-Net アーキテクチャはどう比較されるか。
• RQ3 U-Net のダウンサンプリング/アップサンプリング経路に FNO ブロックを組み込むと、時間スケールとパラメータ全般の一般化が改善されるか、または低下するか。
• RQ4 PDE代理モデルにおける時間離散化と外力の条件付けに関する効果的な戦略は何か。

主な発見

• U-Net アーキテクチャは、テストされた PDE タスク全般で一般に最良の性能を発揮し、いくつかの設定で FNO を上回る。
• U-Nets に FNO ブロックを追加する（U-FNet 系） は特定のダウンサンプリングシナリオを改善することがあるが、一般化を普遍的に高めるわけではない。
• FNO ベースのモデルはパラメータ条件付けとノイズに対する感度を示し、時刻スケールとパラメータ全般での一般化を難しくする。
• サイン型埋め込みによるパラメータ条件付けは、未知の時間窓や力の値への一般化を可能にし、U-Nets は補間/外挿でしばしば優れる。
• 拡張畳み込みを用いた Dilated ResNets と FNO は特定の定式化（例：浅水、速度）で良好だが、多尺度 PDE に対しては最適化された U-Nets に遅れをとる可能性がある。