[論文レビュー] When and why PINNs fail to train: A neural tangent kernel perspective

Sifan Wang, Xinling Yu+1 more|arXiv (Cornell University)|Jul 28, 2020

Model Reduction and Neural Networks参考文献 46被引用数 120

ひとこと要約

この論文は神経接続接線核（NTK）レンズを通じたPINNの訓練ダイナミクスを分析し、無限幅リミットで決定論的カーネルへの収束を証明し、スペクトルバイアスに関連する訓練上の病理を同定し、NTKベースの適応的訓練戦略を提案する。

ABSTRACT

Physics-informed neural networks (PINNs) have lately received great attention thanks to their flexibility in tackling a wide range of forward and inverse problems involving partial differential equations. However, despite their noticeable empirical success, little is known about how such constrained neural networks behave during their training via gradient descent. More importantly, even less is known about why such models sometimes fail to train at all. In this work, we aim to investigate these questions through the lens of the Neural Tangent Kernel (NTK); a kernel that captures the behavior of fully-connected neural networks in the infinite width limit during training via gradient descent. Specifically, we derive the NTK of PINNs and prove that, under appropriate conditions, it converges to a deterministic kernel that stays constant during training in the infinite-width limit. This allows us to analyze the training dynamics of PINNs through the lens of their limiting NTK and find a remarkable discrepancy in the convergence rate of the different loss components contributing to the total training error. To address this fundamental pathology, we propose a novel gradient descent algorithm that utilizes the eigenvalues of the NTK to adaptively calibrate the convergence rate of the total training error. Finally, we perform a series of numerical experiments to verify the correctness of our theory and the practical effectiveness of the proposed algorithms. The data and code accompanying this manuscript are publicly available at \url{https://github.com/PredictiveIntelligenceLab/PINNsNTK}.

研究の動機と目的

• 完全連結型PINNの勾配降下法による訓練ダイナミクスをNTK理論で調査する。
• PINN NTKを導出し、それが無限幅で決定論的カーネルへ収束することを示す。
• NTKスペクトルがPINNの損失成分の収束速度を支配する様子を分析する。
• スペクトルバイアスと損失項間の乖離を fundamental pathologyとして同定する。
• NTK固有値に導かれた適応的な訓練戦略を提案し、損失成分間の収束をバランスさせる。

提案手法

• PINNの損失を L = L_b + L_r（データ項と PDE 残差項）として定義する。
• 結合勾配流動ダイナミクスと、進化を支配するNTK行列 K(t) を導出する。
• 無限幅リミットでPINN出力とPDE残差がガウス過程へ収束することを証明する。
• PINN NTKが初期化時に決定論的カーネルK*へ収束し、学習率が無限小である限り訓練中も不変であることを示す。
• K*の固有構造を分析してスペクトルバイアスと損失成分の異なる収束速度を説明する。
• NTKスペクトルに導かれる適応的重み付けスキーム（λ_b, λ_r）を提案し、訓練性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 PINN NTKが無限幅リミットで決定論的カーネルへ収束する条件は何か。
• RQ2 PINN NTKは訓練中に不変なのか、訓練ダイナミクスにどのような影響を与えるのか。
• RQ3 PINN NTKのスペクトルが異なる損失成分（境界 vs 残差）の収束速度にどう影響するのか。
• RQ4 NTK固有値に基づく適応重み付けはスペクトルバイアスを緩和し訓練性を改善できるか。
• RQ5 NTKの洞察から導出できるPINN訓練の安定性と精度を向上させる実践的アルゴリズムは何か。

主な発見

• PINNsは線形 PDE に対して無限幅でガウス過程へ収束する。
• PINN NTKは決定論的カーネルへ収束し、学習率が無限に小さい場合には訓練中も不変である。
• 総訓練誤差の収束速度はNTKのスペクトルに支配され、損失成分間の乖離を明らかにする。
• PINNsはスペクトルバイアスを示し、NTKの高周波成分は固有値の急速な減衰のため学習が遅い。
• 著者らはNTK固有値を利用して損失項間の収束をバランスさせる適応的勾配降下アルゴリズムを提案する。
• 提案手法を用いた数値実験は理論を検証し、訓練性と精度の改善を示す。