[論文レビュー] Unsupervised Physics-Informed Operator Learning through Multi-Stage Curriculum Training

Paolo Marcandelli, Natansh Mathur+3 more|arXiv (Cornell University)|Feb 2, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

要約: 監視なしの物理-informed 演算子学習のための多段階カリキュラムを提案し、内部ラベルなしで競争力の高い精度を達成するスプライン強化 Fourier 神経演算子 PhIS-FNO を導入する。

ABSTRACT

Solving partial differential equations remains a central challenge in scientific machine learning. Neural operators offer a promising route by learning mappings between function spaces and enabling resolution-independent inference, yet they typically require supervised data. Physics-informed neural networks address this limitation through unsupervised training with physical constraints but often suffer from unstable convergence and limited generalization capability. To overcome these issues, we introduce a multi-stage physics-informed training strategy that achieves convergence by progressively enforcing boundary conditions in the loss landscape and subsequently incorporating interior residuals. At each stage the optimizer is re-initialized, acting as a continuation mechanism that restores stability and prevents gradient stagnation. We further propose the Physics-Informed Spline Fourier Neural Operator (PhIS-FNO), combining Fourier layers with Hermite spline kernels for smooth residual evaluation. Across canonical benchmarks, PhIS-FNO attains a level of accuracy comparable to that of supervised learning, using labeled information only along a narrow boundary region, establishing staged, spline-based optimization as a robust paradigm for physics-informed operator learning.

研究の動機と目的

• 監視なしの演算子ベース学習で PDE の解法を動機づけ、堅牢性と一般化を改善する。
• ステージ遷移時にオプティマイザを再初期化して訓練を安定化させるカリキュラム風訓練戦略を開発する。
• 境界条件を滑らかに評価できるハイブリッド Fourier-spline 演算子である PhIS-FNO を導入する。
• 周期境界と非周期境界の両方で標準的な PDE に対して収束と競争力のある精度を示す。

提案手法

• まず境界条件を課し、次に内部 PDE 残差を課す多段階カリキュラムを提案し、各段階でオプティマイザを再初期化する。
• Hermite スプライン核と Fourier レイヤを組み合わせた連続残差を実現する Physics-Informed Spline Fourier Neural Operator (PhIS-FNO) を導入する。
• 境界条件と初期条件が解算子 G† を導くように、演算子学習の観点で PDE 問題を定式化する。
• 固定の補間ではなく段階遷移時に損失重みを調整する境界から残差へのホモトピー風損失を用いる。
• PhIS-FNO をスプライン係数を予測し、スプライン基底と Fourier ベースの更新によって解を再構成して実装する。
• 段階的なオプティマイザリセットが監視なしの物理-informed 学習の収束と安定性を改善することを示す。

実験結果

リサーチクエスチョン

• RQ1 監視なしの物理-informed 演算子学習において、オプティマイザリセットを伴う多段階カリキュラムは安定した収束を達成できるか？
• RQ2 PhIS-FNO は周期・非周期領域をまたいで安定かつ解像度不変な残差評価を提供するか？
• RQ3 境界集中訓練は内部残差訓練と比較して学習された演算子をどのように導くか？
• RQ4 監視なしの物理-informed 演算子はベンチマーク PDE で監視付きと同等または近接する精度を達成するか？
• RQ5 提案されたカリキュラムの下でどのアーキテクチャ（PINO、Spline U-Net、FNO 変種）が最も良い性能を示すか？

主な発見

• 多段階カリキュラムは tested PDE で完全に監視なし訓練において収束を可能にする。
• PINO は周期問題で最も高い精度を達成し、PhIS-FNO は非周期・大規模領域問題で優れた性能と安定性を示す。
• スプラインベースの連続微分はスペクトルリークと打切りアーティファクトを低減し、勾配挙動を改善する。
• PhIS-FNO は解像度不変性を維持しつつ一般的な境界条件を処理する。
• Burgers、Poisson、Navier–Stokes のベンチマークにおいて残差誤差が低減され、基礎法と比較して訓練の安定性が向上する。
• /framework はデータなしの内部学習を複数設定で監視付き学習と同程度の精度を示す。