[論文レビュー] Is $L^2$ Physics-Informed Loss Always Suitable for Training Physics-Informed Neural Network?

Chuwei Wang, Shanda Li+2 more|arXiv (Cornell University)|Jun 4, 2022

Model Reduction and Neural Networks被引用数 25

ひとこと要約

本論文は、PINNの学習に用いられる損失ノルムを変えたときのHJB方程式の安定性を評価し、L2は高次元問題には不適切である可能性を示し、標準的なPINNを上回るL∞-ベースの敵対的学習法を提案する。

ABSTRACT

The Physics-Informed Neural Network (PINN) approach is a new and promising way to solve partial differential equations using deep learning. The $L^2$ Physics-Informed Loss is the de-facto standard in training Physics-Informed Neural Networks. In this paper, we challenge this common practice by investigating the relationship between the loss function and the approximation quality of the learned solution. In particular, we leverage the concept of stability in the literature of partial differential equation to study the asymptotic behavior of the learned solution as the loss approaches zero. With this concept, we study an important class of high-dimensional non-linear PDEs in optimal control, the Hamilton-Jacobi-Bellman(HJB) Equation, and prove that for general $L^p$ Physics-Informed Loss, a wide class of HJB equation is stable only if $p$ is sufficiently large. Therefore, the commonly used $L^2$ loss is not suitable for training PINN on those equations, while $L^{\infty}$ loss is a better choice. Based on the theoretical insight, we develop a novel PINN training algorithm to minimize the $L^{\infty}$ loss for HJB equations which is in a similar spirit to adversarial training. The effectiveness of the proposed algorithm is empirically demonstrated through experiments. Our code is released at https://github.com/LithiumDA/L_inf-PINN.

研究の動機と目的

• 高次元偏微分方程式PDEのPINNトレーニングで用いられる損失関数を理論的根拠に基づいて評価する動機付け。
• HJB方程式に対する異なるLp損失下での安定性を調査し、L2ベースのPINNトレーニングの限界を特定する。
• HJB問題の解の精度を改善するためのL∞-ベースの敵対的学習アルゴリズムを提案し検証する。

提案手法

• PDE残差と境界条件のためのLpノルムを用いたPINN損失を定式化する。
• Lp/Lq/W1,r空間におけるHJB方程式の安定性を研究し、安定性が成り立つ条件を導出する。
• 高次元のHJBの安定性には大きなpとqが必要であり、L∞-ノルム損失を動機付ける。
• Domain内および境界上の敵対的点を選択してL∞損失を最小化するミニマックス敵対的学習アルゴリズムを導入する。
• Algorithm 1を実装して敵対的点とニューラルネットワークパラメータを反復的に更新する。
• 高次元のLQG制御問題で経験的にL∞-PINNの性能が向上することを示す。

実験結果

リサーチクエスチョン

• RQ1 高次元での真のHJB解に対してL2ベースの物理インフォームド損失を最小化するだけで近似解を保証できるか。
• RQ2 PINNフレームワークにおいてどの損失ノルムでHJB方程式の安定性が確保されるか。
• RQ3 L∞-ベースの敵対的学習 regimeは高次元のHJB方程式に対するPINN解の精度を改善し得るか。
• RQ4 提案手法のL∞アプローチは高次元問題で標準のL2 PINNや他のベースラインとどう比較されるか。

主な発見

方法	L1誤差 (n=100)	L2誤差 (n=100)	W^{1,1} 誤差 (n=100)	L1誤差 (n=250)	L2誤差 (n=250)	W^{1,1} 誤差 (n=250)
オリジナルPINN	3.47%	4.25%	11.31%	6.74%	7.67%	17.51%
適応時間サンプリング	3.05%	3.67%	13.63%	7.18%	7.91%	18.38%
学習率アニーリング	11.09%	11.82%	33.61%	6.94%	8.04%	18.47%
カリキュラム正則化	3.40%	3.91%	9.53%	6.72%	7.51%	17.52%
敵対的学習（提案手法）	0.27%	0.33%	2.22%	0.95%	1.18%	4.38%

• L2損失は高次元のHJB方程式の真の解への近さを保証しない可能性がある。
• PDE残差と境界損失に関する安定性は、損失ノルムが十分に大きい場合（p, qが大きい場合）にのみ達成される。
• L∞-ベースの損失は高次元のHJB問題に対してより良い理論的安定性保証と経験的精度をもたらす。
• 敵対的学習アルゴリズムはL∞損失を最小化し、100次元および250次元のLQG制御問題で標準的なPINNベースラインに比べて解の精度を大幅に改善する。
• L∞-PINNアプローチは価値関数の精度と勾配の精度の両方を改善し、他の損失設計およびトレーニング変動ベースラインより優れている。