[論文レビュー] Multi-Objective Loss Balancing for Physics-Informed Deep Learning

Rafael Bischof, Michael Kraus|arXiv (Cornell University)|Oct 19, 2021

Model Reduction and Neural Networks参考文献 63被引用数 58

ひとこと要約

本論文は、Physics-Informed Neural Networks (PINNs) における複数の損失項のバランス取り方を分析し、従来の損失スケーリング手法より精度と効率を向上させる新しい自己適応型手法 ReLoBRaLo を提案します。Burgers’、Kirchhoff、Helmholtz のPDEに対する前方問題と逆問題を評価します。

ABSTRACT

Physics-Informed Neural Networks (PINN) are algorithms from deep learning leveraging physical laws by including partial differential equations together with a respective set of boundary and initial conditions as penalty terms into their loss function. In this work, we observe the significant role of correctly weighting the combination of multiple competitive loss functions for training PINNs effectively. To this end, we implement and evaluate different methods aiming at balancing the contributions of multiple terms of the PINNs loss function and their gradients. After reviewing of three existing loss scaling approaches (Learning Rate Annealing, GradNorm and SoftAdapt), we propose a novel self-adaptive loss balancing scheme for PINNs named \emph{ReLoBRaLo} (Relative Loss Balancing with Random Lookback). We extensively evaluate the performance of the aforementioned balancing schemes by solving both forward as well as inverse problems on three benchmark PDEs for PINNs: Burgers' equation, Kirchhoff's plate bending equation and Helmholtz's equation. The results show that ReLoBRaLo is able to consistently outperform the baseline of existing scaling methods in terms of accuracy, while also inducing significantly less computational overhead.

研究の動機と目的

• PINN における物理法則に由来する複数の損失項をバランスさせる必要性を動機づける。
• 既存の損失バランス手法を評価し、それらの限界を特定する。
• PINN 向けの新しい自己適応型損失バランシング手法（ReLoBRaLo）を提案・検証する。
• 複数の PDE に対する前方/逆問題での性能向上を示す。

提案手法

• 既存の損失スケーリング手法（LRAnnealing、GradNorm、SoftAdapt）とそれらの限界をレビューする。
• 相対損失進捗とランダムな見返り（saudade）を用いた自己適応型損失バランシングスキーム ReLoBRaLo を導出・提示する。
• 有界ソフトマックスでスケールされた係数の集合を介して複数の PINN 損失項を平衡化する。
• ネットワークアーキテクチャと学習設定のハイパーパラメータ調整にベイズ最適化とグリッドサーチを使用する。
• Burgers’、Kirchhoff の板曲げ、および Helmholtz 方程式の前方・逆問題で評価する。

Figure 1 : Schematic of a Physics-Informed Neural Network (PINN): A fully-connected feed-forward neural network with space and time coordinates $(\mathbf{x},t)$ as inputs, approximating a solution $\hat{\mathbf{u}}(\mathbf{x},t)$ . Derivatives of $\mathbf{u}$ w.r.t. inputs are computed by automatic

実験結果

リサーチクエスチョン

• RQ1 さまざまな損失バランシング手法は、前方問題および逆問題における PINN の訓練の安定性と精度にどう影響しますか？
• RQ2 複数項損失を持つPINNにおいて、自己適応型損失バランシング手法は既存手法を上回ることができますか？
• RQ3 Burgers’、Kirchhoff、Helmholtz PDEの計算効率と収束性に対する損失項スケーリングの影響はどのようになりますか？
• RQ4 PINN における適応的損失バランシングの性能を最大化するためにハイパーパラメータをどのように調整すべきですか？

主な発見

• ReLoBRaLo は精度の点で常にベースラインの損失スケーリング手法を上回る。
• ReLoBRaLo は他のいくつかの手法と比較して計算オーバーヘッドを著しく低くする。
• 本手法は有界ソフトマックス、相対的損失進捗、およびランダムな見返しを用いて訓練を安定化させる。
• 実験は Burgers’、Kirchhoff の板曲げ、および Helmholtz 方程式の前方・逆問題を対象とする。

Figure 2 : Burgers’ equation problem: (a) FEM reference solution, (b) PINNs results predicted with a fully-connected network consisting of two layers and 128 nodes each, and (c) squared error.