[論文レビュー] Understanding and mitigating gradient pathologies in physics-informed neural networks

Sifan Wang, Yujun Teng+1 more|arXiv (Cornell University)|Jan 13, 2020

Model Reduction and Neural Networks参考文献 49被引用数 197

ひとこと要約

この論文は、物理情報ニューラルネットワーク（PINN）での硬直した勾配流によって生じる勾配病理を特定し、適応学習率アニーリングスキームと新しいアーキテクチャを提案して損失項のバランスを取り、予測精度を大幅に向上させる。

ABSTRACT

The widespread use of neural networks across different scientific domains often involves constraining them to satisfy certain symmetries, conservation laws, or other domain knowledge. Such constraints are often imposed as soft penalties during model training and effectively act as domain-specific regularizers of the empirical risk loss. Physics-informed neural networks is an example of this philosophy in which the outputs of deep neural networks are constrained to approximately satisfy a given set of partial differential equations. In this work we review recent advances in scientific machine learning with a specific focus on the effectiveness of physics-informed neural networks in predicting outcomes of physical systems and discovering hidden physics from noisy data. We will also identify and analyze a fundamental mode of failure of such approaches that is related to numerical stiffness leading to unbalanced back-propagated gradients during model training. To address this limitation we present a learning rate annealing algorithm that utilizes gradient statistics during model training to balance the interplay between different terms in composite loss functions. We also propose a novel neural network architecture that is more resilient to such gradient pathologies. Taken together, our developments provide new insights into the training of constrained neural networks and consistently improve the predictive accuracy of physics-informed neural networks by a factor of 50-100x across a range of problems in computational physics. All code and data accompanying this manuscript are publicly available at \url{https://github.com/PredictiveIntelligenceLab/GradientPathologiesPINNs}.

研究の動機と目的

• PINNs が訓練中に勾配病理を生じる理由、特に勾配流の硬直性に起因する点を説明する。
• PINNの損失におけるデータ適合項とPDE残差項の不均衡を診断する。
• 複合損失をバランスさせる適応的学習率アニーリングアルゴリズムを提案する。
• 勾配病理に対してより頑健なニューラルネットワークアーキテクチャを導入する。
• 計算物理の問題全般でPINNの予測精度が向上することを実証する。

提案手法

• L(θ)=Lr(θ)+Σi λi Li(θ) という複合損失を用いたPINNの定式化をレビューする。
• ヘルムホルツ方程式やポアソン方程式のような単純なベンチマークを用いて、境界データ適合項とPDE残差項の勾配不均衡を分析する。
• 勾配流の硬直性が標準勾配降下法で不安定性を引き起こすことを示し、適応的手法を動機づける。
• 勾配統計に基づいてオンラインでλi の重みを適応的に調整する学習率アニーリングアルゴリズムを提案する（適応的最適化手法に類似）。
• 訓練の安定性を改善するために硬直性を低減した新しい全結合ニューラルネットワークアーキテクチャを導入する。
• 計算物理の問題全般における大幅な予測精度向上を示す実証的なデモを提供する。

実験結果

リサーチクエスチョン

• RQ1 PINNの訓練中に勾配病理と逆伝搬勾配の不均衡を引き起こす要因は何か？
• RQ2 勾配の硬直性はPINNにおける勾配ベース最適化の安定性と収束性にどう影響するか？
• RQ3 勾配統計に基づく適応的損失重み付けはPINNの訓練を安定化できるか？
• RQ4 再設計されたネットワークアーキテクチャは勾配の硬直性を低減し、PINNの精度を改善するか？
• RQ5 提案手法によって計算物理の問題全体でどの程度の予測精度向上が達成可能か？

主な発見

• PINNの勾配病理は勾配流の硬直性に関連しており、損失項間の勾配の不均衡を引き起こす。
• 境界条件/初期条件の勾配が消失するとPDE残差項が訓練を支配し、誤った予測を生む。
• オンラインで損失項の重みを調整する適応学習率アニーリングアルゴリズムは訓練を安定化させ、寄与をバランスさせる。
• 新しいネットワークアーキテクチャは標準的な全結合ネットより勾配流の硬直性を低減する。
• 提案手法は複数の計算物理問題でPINNの予測精度を50〜100倍の一貫した改善をもたらす。