[論文レビュー] Manifold-Orthogonal Dual-spectrum Extrapolation for Parameterized Physics-Informed Neural Networks

Zhangyong Liang, Ji Zhang|arXiv (Cornell University)|Mar 14, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

MODEは、SVDベースの制約を分解して進化を主成分スペクトル混合、残差スペクトル覚醒、アフィンガリアン Unlocking に分離する物理学に根ざしたパラメータ化PINNのファインチューニング機構であり、最小限のパラメータコストでOOD一般化を向上させる。

ABSTRACT

Physics-informed neural networks (PINNs) have achieved notable success in modeling dynamical systems governed by partial differential equations (PDEs). To avoid computationally expensive retraining under new physical conditions, parameterized PINNs (P$^2$INNs) commonly adapt pre-trained operators using singular value decomposition (SVD) for out-of-distribution (OOD) regimes. However, SVD-based fine-tuning often suffers from rigid subspace locking and truncation of important high-frequency spectral modes, limiting its ability to capture complex physical transitions. While parameter-efficient fine-tuning (PEFT) methods appear to be promising alternatives, applying conventional adapters such as LoRA to P$^2$INNs introduces a severe Pareto trade-off, as additive updates increase parameter overhead and disrupt the structured physical manifolds inherent in operator representations. To address these limitations, we propose Manifold-Orthogonal Dual-spectrum Extrapolation (MODE), a lightweight micro-architecture designed for physics operator adaptation. MODE decomposes physical evolution into complementary mechanisms including principal-spectrum dense mixing that enables cross-modal energy transfer within frozen orthogonal bases, residual-spectrum awakening that activates high-frequency spectral components through a single trainable scalar, and affine Galilean unlocking that explicitly isolates spatial translation dynamics. Experiments on challenging PDE benchmarks including the 1D Convection--Diffusion--Reaction equation and the 2D Helmholtz equation demonstrate that MODE achieves strong out-of-distribution generalization while preserving the minimal parameter complexity of native SVD and outperforming existing PEFT-based baselines.

研究の動機と目的

• パラメータ化PINNを新たな物理パラメータのOODに適応させるための再訓練なしの効率的適応の必要性を動機づける。
• PDE解法PINNに適用されるSVDベースのファインチューニングにおける根本的な行き詰まりを特定する。
• 物理的進化を主スペクトル混合、残差スペクトル覚醒、アフィンガリアン unlocking に分離する新規マイクロアーキテクチャ（MODE）を提案する。
• MODEが空間的複雑性を最小化しつつPareto優位な性能と改善されたOOD一般化を達成することを示す。

提案手法

• 事前訓練済みP2INNとその重みのSVD分解によるパラメータ化PDE解法を定式化する。
• MODEを、主スペクトル混合用の密行列Phi、残差スペクトルを覚醒させるスカラーtau、アフィンガリアン unlocking用のバイアスドリフトDelta bという訓練可能な小さな一連のパラメータで導入する。
• 固定された直交基底とPhiを組み合わせ、残差をtauでスケールし、バイアスをシフトさせる等価な前方作用素を構築し、高次元の残差ストレージを回避する。
• メモリ爆発を避ける残差なし代数再構成を導出し、事前訓練済み重みを再利用する効率的な前方パスを提供する。
• MODEはサブスペースロックを排除し、高周波モードを保持し、アフィン平行移動を分離して最適化と一般化を改善することを理論的に主張する。

実験結果

リサーチクエスチョン

• RQ1 MODEは従来のPEFT手法がOOD PDEパラメータへ適応する際のPareto崩壊を克服できるか？
• RQ2 物理的進化を主スペクトル、残差スペクトル、アフィン成分へ分離することで、パラメータの膨張なしに外挿を改善できるか？
• RQ3 MODEは nativesvdの空間的複雑性を保持しつつ、対流-拡散-反応およびHelmholtz型PDEのOOD一般化を高められるか？
• RQ4 残差ディクショナリを1つの訓練可能なスカラーで再活性化できるか、モデルサイズを増やさずに？
• RQ5 物理情報を取り入れた文脈での既存PEFT手法の理論的制限とMODEがそれにどう対処するか？

主な発見

• MODEは native SVDの最小メモリフットプリントとPEFTベースラインを超えるOOD忠実度を達成し、絶対的なPareto支配を達成する。
• 主スペクトルの密混合により、凍結基底内で小さなパラメータコストでモード間エネルギー移動を可能にする。
• 残差スペクトル覚醒は、1つの訓練可能なスカラーを用いて高周波モードを動的に喚起する。
• アフィンガリアン unlockingは独立したバイアスドリフトを介して空間的平行移動を分離し、最適化を容易にする。
• nativesvdと主要なPEFTと比べて、MODEは挑戦的な1D対流-拡散-反応および2D Helmholtz PDEに対する外挿能力を向上させる。