[論文レビュー] Scaling Laws and Pathologies of Single-Layer PINNs: Network Width and PDE Nonlinearity

Faris Chaudhry|arXiv (Cornell University)|Mar 13, 2026

Quantum many-body systems被引用数 0

ひとこと要約

要約: 本論文は単層PINNにおける幅と非線形性の相互作用を経験的に特徴づけ、KdV・Sine-Gordon・Allen-Cahn に跨る非線形PDEで最適化駆動の幅の病理と非分離的スケーリングを明らかにする。

ABSTRACT

We establish empirical scaling laws for Single-Layer Physics-Informed Neural Networks on canonical nonlinear PDEs. We identify a dual optimization failure: (i) a baseline pathology, where the solution error fails to decrease with network width, even at fixed nonlinearity, falling short of theoretical approximation bounds, and (ii) a compounding pathology, where this failure is exacerbated by nonlinearity. We provide quantitative evidence that a simple separable power law is insufficient, and that the scaling behavior is governed by a more complex, non-separable relationship. This failure is consistent with the concept of spectral bias, where networks struggle to learn the high-frequency solution components that intensify with nonlinearity. We show that optimization, not approximation capacity, is the primary bottleneck, and propose a methodology to empirically measure these complex scaling effects.

研究の動機と目的

• カノニカルな非線形PDEに対して、ネットワークの幅がPINNの精度に与える影響を定量化する。
• 実践的に単純な separable な幅–非線性スケーリング法則が成り立つかを調査する。
• 単層PINNにおける最適化のボトルネックと近似限界を見極める。
• 非線形性下で高周波解成分の学習に対するスペクトルバイアスの影響を評価する。

提案手法

• 時間を含む1次元PDEを解くために単層ニューラルネットワーク（SLN）を使用し、PDE残差、境界条件、初期条件を重み付き損失で最小化する。
• 各PDEにおける非線形効果を制御する硬さパラメータκを定義する。
• 三つの非線形PDE（KdV、Sine-Gordon、Allen-Cahn）に対して、ネットワーク幅Nを{16,32,64,128,256,512,1024}、κの値を体系的に変化させてスイープする。
• tanhおよびReLUの活性化関数と複数の乱数種を試し、細かいテスト格子上の平均相対L2誤差を評価する。
• 誤差スケーリングを、対数線形形を含むモデルに適合させる: 誤差 ~ A * N^{-α} および N–κ結合を捉える拡張された非分離的相互作用モデル。
• 結果を一変量の幅スケーリングα(κ)および多変量モデルを用いて分析し、分離可能スケーリングと非分離スケーリングの法則を比較する。

Figure 1: Error vs. Network Width ( $N$ ) for the Poisson PDE. Tanh networks find low-error solutions but exhibit high variance and no clear scaling ( $\alpha\approx 0.06\pm 0.4$ ). ReLU networks fail to learn ( $\alpha\approx 0.01\pm 0.01$ ). The gray and red lines give the theoretical error decay

実験結果

リサーチクエスチョン

• RQ1 実用的なSLN-PINNの訓練は、幅スケーリングαが理論的な0.5から外れる基準的な最適化病理を示すか。
• RQ2 非線形性 κ は幅との非分離的な相互作用を引き起こし、単純なスケーリング法則を破るか。
• RQ3 tanhとReLU の異なる活性化は幅のスケーリングと非線形性との相互作用に影響を及ぼすか。
• RQ4 スケーリング病理は、分散性、超流動、反応/拡散的パラボリックなど、異なる非線形PDEのクラス間で一貫しているか。

主な発見

• 広いネットワークは非線形PDEに対して誤差を改善せず、場合によっては悪化させる。幅スケーリングαはほぼゼロ近く、あるいは負になる基準的病理を示す。
• 非線形性は難易度を悪化させ、αはκの非分離的関数となり、時に複雑で非単調な挙動を示す。
• ReLU において、幅と非線形性の間の相互作用項はPDEを横断して統計的に有意であり、真の幅–κ結合を示す。
• tanh に対して、幅はしばしば統計的に有意でなく、より安定した最適化ダイナミクスと有益な幅スケーリングの欠如を示す。
• 硬さパラメータκは一般に最終誤差を増加させる傾向があり、いくつかのPDEでは異なる応答を示す（Allen-Cahn は異常な振る舞いを示す）。
• スペクトルバイアスが機構として支持される証拠があり、非線形性が強まると高周波成分の学習が難しくなり、最適化を容量よりも妨げる。

Figure 2: Scaling law analysis for the Sine-Gordon equation. (a) Width scaling exponent $\alpha$ vs. hardness $\kappa$ . Often $\alpha<0$ , implying increasing network width also increases error. (b) Final error vs. hardness $\kappa$ for different network widths $N$ . The final error degrades signif