[論文レビュー] Incremental Spatial and Spectral Learning of Neural Operators for Solving Large-Scale PDEs

Robert Joseph George, Jiawei Zhao+3 more|arXiv (Cornell University)|Nov 28, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、学習中に周波数モードの数を動的に増やすことでスペクトル容量を自動的に適応させる、インクリメンタル・フォーリエニューラルオペレータ（IFNO）を提案する。少数データ条件下でレイノルズ数が5000に達するコルモゴロフ流れにおいて、標準的なFNOと比較してテスト損失が10%以上低く、周波数モード数も20%少なく抑えられ、適応的スペクトル正則化により汎化性能と効率性が向上する。

ABSTRACT

Fourier Neural Operators (FNO) offer a principled approach to solving challenging partial differential equations (PDE) such as turbulent flows. At the core of FNO is a spectral layer that leverages a discretization-convergent representation in the Fourier domain, and learns weights over a fixed set of frequencies. However, training FNO presents two significant challenges, particularly in large-scale, high-resolution applications: (i) Computing Fourier transform on high-resolution inputs is computationally intensive but necessary since fine-scale details are needed for solving many PDEs, such as fluid flows, (ii) selecting the relevant set of frequencies in the spectral layers is challenging, and too many modes can lead to overfitting, while too few can lead to underfitting. To address these issues, we introduce the Incremental Fourier Neural Operator (iFNO), which progressively increases both the number of frequency modes used by the model as well as the resolution of the training data. We empirically show that iFNO reduces total training time while maintaining or improving generalization performance across various datasets. Our method demonstrates a 10% lower testing error, using 20% fewer frequency modes compared to the existing Fourier Neural Operator, while also achieving a 30% faster training.

研究の動機と目的

• フーリエニューラルオペレータ（FNO）における最適な周波数切り捨て閾値を手動で選択する課題に対処すること。これは、過学習やアンダーフィットを引き起こす可能性がある。
• 固定されたスペクトル容量を持つ標準的なFNOが困難をきたす少数データ環境における汎化性能の向上。
• 性能を維持または向上させつつ、周波数モード数を最小限に抑えることで、計算コストとモデルの複雑さを低減すること。
• 学習中にデータ駆動のスペクトルコンテンツに適応する動的スペクトル正則化機構の開発。

提案手法

• IFNOは、スペクトル説明率という指標に基づき、学習中に切り捨て閾値を引き上げることで、周波数モード数を段階的に増加させる。
• 説明率は、現在の周波数モード集合が占めるスペクトルエネルギーの割合を測定するもので、新しいモードを追加するタイミングを指針とする。
• しきい値基準により、説明率が事前に定めた値α未満に下がった際に、一括して高周波モードを追加する。
• 本手法はFNOフレームワーク内に統合され、フーリエ畳み込みおよび非線形変換部はそのままで、周波数切り捨て戦略のみを変更する。
• 再訓練やアーキテクチャの再設計なしに、学習中にデータの複雑さに効率的に適応できる。
• 周波数ドメインにおけるスペクトルエネルギー保持率を直接測定することで、高価な固有値分解を回避する。

実験結果

リサーチクエスチョン

• RQ1 学習中に周波数モード数を動的に増やすことで、PDEを解くFNOの汎化性能が向上するか？
• RQ2 段階的なモード追加による適応的スペクトル正則化は、性能を損なわせずに必要な周波数モード数を削減できるか？
• RQ3 少数データ条件下で、IFNOは標準FNOと比較してテスト損失とパラメータ効率性の点で優れているか？
• RQ4 IFNOは事前のハイパーパramータチューニングなしに、最適な周波数モード数を自動的に特定できるか？

主な発見

• 少数データ環境下でレイノルズ数が5000に達するコルモゴロフ流れにおいて、IFNOは標準FNOと比較してテスト損失を10%以上低減した。
• IFNOは標準FNOと比較して20%少ない周波数モード数を用いながらも、より優れた汎化性能を達成しており、パラメータ効率性の向上が裏付けられた。
• 複数のデータセットにおいて、最終的に訓練されたIFNOモデルは、最良の性能を示したFNOベースラインと比較して、常に少ない周波数モード数で収束した。これは、最適なスペクトル容量を自動で特定できる能力を示している。
• IFNOは学習損失のフラクチュエーションが見られる中でも、動的スペクトル正則化によるロバストネスと改善されたインダクティブバイアスを示しており、より優れた汎化性能を達成した。
• IFNOにおける周波数モード数は学習中に段階的に増加し、最終的なモデルは最小限のスペクトル容量で高い性能を達成した。