[論文レビュー] Factorized Fourier Neural Operators

Alasdair Tran, Alexander Patrick Mathews+2 more|arXiv (Cornell University)|Nov 27, 2021

Model Reduction and Neural Networks参考文献 10被引用数 9

ひとこと要約

本稿では、分離可能なスペクトル層と活性化関数の後に残差接続を適用することにより、偏微分方程式（PDE）を解くためのニューラルオペレータの性能を向上させる、因子分解型フーリエニューラルオペレータ（F-FNO）を提案する。F-FNOは、ナビエ・ストークス方程式で最大83%、プラスチックフォージングで60%の誤差低減を達成し、擬似スペクトル法に比べて10倍の大きな時間ステップを可能にするとともに、構造的メッシュおよびポイントクラウドにおいて顕著な高速化と頑健性を実現した。

ABSTRACT

We propose the Factorized Fourier Neural Operator (F-FNO), a learning-based approach for simulating partial differential equations (PDEs). Starting from a recently proposed Fourier representation of flow fields, the F-FNO bridges the performance gap between pure machine learning approaches to that of the best numerical or hybrid solvers. This is achieved with new representations - separable spectral layers and improved residual connections - and a combination of training strategies such as the Markov assumption, Gaussian noise, and cosine learning rate decay. On several challenging benchmark PDEs on regular grids, structured meshes, and point clouds, the F-FNO can scale to deeper networks and outperform both the FNO and the geo-FNO, reducing the error by 83% on the Navier-Stokes problem, 31% on the elasticity problem, 57% on the airfoil flow problem, and 60% on the plastic forging problem. Compared to the state-of-the-art pseudo-spectral method, the F-FNO can take a step size that is an order of magnitude larger in time and achieve an order of magnitude speedup to produce the same solution quality.

研究の動機と目的

• ネットワークの深さを増やしたり、複雑な幾何形状を扱ったりする際の、既存のニューラルオペレータ（例：FNO、geo-FNO）の不安定さとスケーリングの悪さを是正すること。
• 多様なドメインやグリッド上で、純粋な機械学習ソルバと従来の数値解析法の間の性能格差を埋めること。
• 正則グリッド、構造的メッシュ、ポイントクラウドといった多様な幾何形状に一般化可能なスケーラブルな深層ニューラルオペレータを実現し、一般化性能と安定性を向上させること。
• マルコフ仮定、ガウスノイズ、コサイン学習率スケーリングといった高度な戦略を用いて、収束性と頑健性を向上させることで、学習ダイナミクスを改善すること。

提案手法

• 2次元フーリエ変換を独立した1次元変換に分解するフーリエ因数分解を用いて、分離可能なスペクトル層を導入し、モデルの複雑さを1桁低減する。
• 活性化関数の後に残差接続を実装することで、学習の安定化と、発散を防ぐことのできる深層ネットワークアーキテクチャ（最大24層）の構築を可能にする。
• 一般化性能の向上を図るため、教師強制、マルコフ仮定の強制、入力にガウスノイズを注入、コサイン学習率スケーリングを含むマルチステージの学習設定を採用する。
• 空間座標の二重符号化を実施：原始的な(x,y)座標と、フーリエ特徴を用いた暗黙の位置符号化を、異なるネットワーク部品で併用することで、モデルの表現力を強化する。
• 正則グリッドと不規則なポイントクラウドの両方を用いて、ナビエ・ストークス、弾性、空力境界層流れ、プラスチックフォージングといった多様なPDEデータセット上で、エンドツーエンドに学習を実施する。
• 構造的なスペクトル操作により、空間不変性と平行移動等変性を保ちながら、長距離の空間的依存性をフーリエドメインでモデル化する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルオペレータにおける因子分解型フーリエ表現は、複雑なPDEにおいて深層アーキテクチャの一般化とスケーラビリティを向上させ得るか？
• RQ2 活性化関数の後に改善された残差接続と、学習戦略が、深層ニューラルオペレータにおける収束性と性能に与える影響はいかほどか？
• RQ3 F-FNOは、ポイントクラウドや構造的メッシュといった不規則な幾何形状において、元のFNOやgeo-FNOをどの程度上回るか？
• RQ4 フーリエ因数分解は、最小限のパラメータで、3次元プラスチックフォージングのような高次元PDEにおいても、安定した学習と性能向上を可能にするか？
• RQ5 強制力、粘性係数、座標符号化といった入力特徴は、F-FNOフレームワークにおける予測精度と頑健性にどのように影響を与えるか？

主な発見

• F-FNOは、元のFNOに比べて、トーラス上でのコルゴゴロフ流れ問題において予測誤差を83%まで低減し、優れた精度を達成した。
• 空力境界層流れ問題では、geo-FNOに比べて誤差を57%低減し、複雑な幾何形状における超音速流れでも優れた性能を示した。
• 3次元プラスチックフォージング問題において、1100万パラメータの24層F-FNOは、5700万パラメータの12層geo-FNOに比べて誤差を60%低減（0.45% → 0.18%）した。
• F-FNOは24層まで安定した学習と性能向上を維持できるが、geo-FNOは空力境界層流れおよび弾性問題において12層を超えて収束しなかった。
• F-FNOは、状態の最良な擬似スペクトル法に比べて1桁の高速化を達成し、解の品質を損なわずに10倍の大きな時間ステップを用いることができた。
• 強制力や粘性係数といった入力特徴は極めて重要である：これらを除去すると誤差が最大で1桁上昇し、モデルが正確な予測を行うために物理的入力を依存していることを確認した。