[論文レビュー] Fourier Neural Operators for Arbitrary Resolution Climate Data Downscaling

Qidong Yang, Álex Hernández-García+6 more|arXiv (Cornell University)|May 23, 2023

Cryospheric studies and observations被引用数 6

ひとこと要約

本論文は、低解像度気象データで学習を行い、任意の高解像度にゼロショットで一般化可能なフーリエニューラルオペレータ（FNO）ベースのダウンスケーリング手法を提案する。この手法は、ERA5再解析データおよびナビエ・ストークス解法データの両方において、標準的およびゼロショットのダウンスケーリングにおいて、最先端の畳み込みおよびGANベースのモデルを著しく上回る性能を発揮する。

ABSTRACT

Climate simulations are essential in guiding our understanding of climate change and responding to its effects. However, it is computationally expensive to resolve complex climate processes at high spatial resolution. As one way to speed up climate simulations, neural networks have been used to downscale climate variables from fast-running low-resolution simulations, but high-resolution training data are often unobtainable or scarce, greatly limiting accuracy. In this work, we propose a downscaling method based on the Fourier neural operator. It trains with data of a small upsampling factor and then can zero-shot downscale its input to arbitrary unseen high resolution. Evaluated both on ERA5 climate model data and on the Navier-Stokes equation solution data, our downscaling model significantly outperforms state-of-the-art convolutional and generative adversarial downscaling models, both in standard single-resolution downscaling and in zero-shot generalization to higher upsampling factors. Furthermore, we show that our method also outperforms state-of-the-art data-driven partial differential equation solvers on Navier-Stokes equations. Overall, our work bridges the gap between simulation of a physical process and interpolation of low-resolution output, showing that it is possible to combine both approaches and significantly improve upon each other.

研究の動機と目的

• 高解像度気象シミュレーションにおける高い計算コストの課題に対処し、深層学習を用いて高速かつ微分可能なダウンスケーリングを可能にする。
• 固定入力サイズを持つ深層学習モデルの限界を克服し、未観測の解像度要因に対しても一般化可能なモデルを実現する。
• 低解像度データで学習した後、一度の再訓練なしに任意の未観測の高解像度にゼロショットでダウンスケーリング可能な単一のFNOベースモデルを開発する。
• 出力にソフトマックス層を導入することで保存則制約を統合し、気象ダウンスケーリングにおける物理的一致性と精度を向上させる。
• 合成PDE解（ナビエ・ストークス）および実世界の気象観測データ（ERA5水分含量）の両方において、手法の有効性を実証する。

提案手法

• フーリエスペクトル領域で作用するフーリエニューラルオペレータ（FNO）を用い、低解像度と高解像度の気象場の間の写像を学習する。
• FNOモデルを低アップサンプリング要因のデータ（例：2×）に限定して学習させ、再訓練なしに高解像度（例：4×、8×）でのゼロショット推論を可能にする。
• 出力にソフトマックス制約層を適用し、物理的保存則を強制することで、ダウンサンプリング出力の忠実性を向上させる。
• FNOのスペクトル的なインダクティブバイアスを活用し、フーリエ領域における気象および流体動力学データの滑らかさと低ランク構造を効果的に捉える。
• 切り捨てられたフーリエ級数表現を用いて演算子を効率的にモデル化し、解像度スケール間での一般化を可能にする。
• 特定のアップサンプリング要因で学習したモデルを、異なる解像度ターゲットに対して評価するため、平均プーリングまたはモデル再帰による後処理を実施する。

Figure 1: The upper panel shows the overall structure of our Fourier neural operator downscaling model denoted by $G_{\theta}$ . The low-resolution input $\mathbf{a}$ goes through a neural network $f_{\theta}$ and a discretization inversion operator $T^{-1}$ . Then an embedding function $\mathbf{e}(

実験結果

リサーチクエスチョン

• RQ1 低解像度データで学習したFNOベースのモデルは、任意の高解像度気象ダウンスケーリングタスクにゼロショットで一般化可能か？
• RQ2 FNOダウンスケーリングモデルは、解像度要因の範囲において、最先端の畳み込みおよびGANベースのモデルと比較して、精度および一般化性能で優れているか？
• RQ3 保存則制約を課すことによって、FNOモデルは気象ダウンスケーリングにおいて物理的一致性をどの程度維持できるか？
• RQ4 FNOベースのアプローチは、元のFNOと比較して、ナビエ・ストークス方程式の統合および解の精錬において、データ駆動型PDEソルバーとして優れているか？
• RQ5 ノイズが混入した観測気象データ、例えばERA5の全層水分含量に対して、モデルはどの程度一般化できるか？

主な発見

• 提案されたFNOダウンスケーリングモデルは、ナビエ・ストークス解法のダウンスケーリングおよびERA5水分含量のダウンスケーリングの両方で最先端の性能を達成し、先行モデルより低いMSEと高いPSNRを実現した。
• ナビエ・ストークスデータセットにおいて、ソフトマックス制約を適用したFNOモデルは、2×解像度でPSNR 48.95、4×解像度でPSNR 47.17を達成し、元のFNOソルバーより優れた性能を示した。
• ERA5水分含量データセットにおいて、ソフトマックス層を適用したFNOモデルは、2×解像度でPSNR 48.95、4×解像度でPSNR 47.17を達成し、CNNおよびGANベースラインを著しく上回った。
• モデルは強力なゼロショット一般化を示した：2×データで学習したモデルは、4×データで学習したモデルよりも4×解像度で低いMSEと高いPSNRを達成した。
• ソフトマックス制約層の追加により物理的一致性が向上し、すべての解像度要因でMAEおよびMSEが低減し、SSIMスコアが向上した。
• ソフトマックス層を適用したFNOモデルは、1×解像度（2×で学習）でPSNR 164.18を達成し、最低解像度でほぼ完璧な再構成を示した。また、すべてのスケールで高い性能を維持した。

Figure 2: Metrics for downscaling models applied to the PDE dataset. Downscaling models CNN-2 (CNN-4) and GAN-2 (GAN-4) are trained with 2 times (4 times) downscaling data; the DFNO model is only trained with 2 times downscaling data. Each downscaling model is evaluated on both 2 times and 4 times d