[論文レビュー] DEQGAN: Learning the Loss Function for PINNs with Generative Adversarial Networks

Blake Bullwinkel, Dylan Randle+2 more|arXiv (Cornell University)|Sep 15, 2022

Model Reduction and Neural Networks被引用数 6

ひとこと要約

DEQGANは、物理学に基づくニューラルネットワーク（PINNs）の損失関数を完全に教師なしで学習する、画期的な生成対抗ネットワークフレームワークを提案する。L2、L1、Huberなどの手動で指定された損失関数への依存を排除する。12個のODEおよびPDE（バーガース方程式、アラン＝オーン方程式、修正されたアインシュタインの重力方程式を含む）において、平均二乗誤差を複数桁低減し、標準的なPINNsや古典的数値法と比較して優れた精度と頑健性を示した。

ABSTRACT

Solutions to differential equations are of significant scientific and engineering relevance. Physics-Informed Neural Networks (PINNs) have emerged as a promising method for solving differential equations, but they lack a theoretical justification for the use of any particular loss function. This work presents Differential Equation GAN (DEQGAN), a novel method for solving differential equations using generative adversarial networks to "learn the loss function" for optimizing the neural network. Presenting results on a suite of twelve ordinary and partial differential equations, including the nonlinear Burgers', Allen-Cahn, Hamilton, and modified Einstein's gravity equations, we show that DEQGAN can obtain multiple orders of magnitude lower mean squared errors than PINNs that use $L_2$, $L_1$, and Huber loss functions. We also show that DEQGAN achieves solution accuracies that are competitive with popular numerical methods. Finally, we present two methods to improve the robustness of DEQGAN to different hyperparameter settings.

研究の動機と目的

• PINNsにおける損失関数選択の理論的根拠の欠如に取り組むこと。PINNsは微分方程式を解くために一般的に用いられる。
• 固定された損失関数（L2やHuberなど）に依存せず、学習中に最適な損失関数を完全に教師なしで学習する手法を開発すること。
• バーガース方程式や修正されたアインシュタインの重力方程式のような、極めて非線形な微分方程式を解く際の解の精度と頑健性を向上させること。
• GANベースのPINNフレームワークに適用可能な訓練安定化技術（インスタンスノイズ、残差モニタリングなど）を導入すること。
• GANベースの損失関数学習が、多様な微分方程式において標準PINN損失関数を上回ることを実証すること。

提案手法

• DEQGANは生成対抗ネットワークを採用し、生成器ネットワークが微分方程式を解き、識別器が真の解と予測解の違いを識別することで、効果的に損失関数を学習する。
• 識別器は、予測解と真の解の差異を検出できるように訓練され、生成器の損失関数の形状を暗黙的に規定する。
• 生成器は識別器の出力に基づく adversarial loss を最小化するように訓練され、事前に指定された損失関数が不要なエンドツーエンド最適化が可能になる。
• 訓練の安定化を図るため、インスタンスノイズを導入し、多様なハイパーパramータ設定下での一般化性能を向上させる。
• 初期学習段階で方程式の残差のL1ノルムの分散を追跡することで、残差モニタリングを実装し、収束不良のトレースと早期終了を可能にする。
• 本手法は、非線形・高次元問題を含む広範なODEおよびPDEに適用され、標準PINN損失関数および古典的数値ソルバーと比較して評価された。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、L2、L1、Huberなどの手動で指定された損失関数よりも、PINNsのためのより効果的な損失関数を学習できるか？
• RQ2 DEQGANの対抗的学習プロセスは、挑戦的な微分方程式において顕著に低い解の誤差を達成するか？
• RQ3 DEQGANは、4次ルンゲ＝クッタ法や2次有限差分法といった確立された数値法と同等の解の精度を達成できるか？
• RQ4 インスタンスノイズおよび残差モニタリングは、多様なハイパーパramータ設定下でのDEQGANの頑健性向上にどの程度効果的か？
• RQ5 識別器が学習した損失関数は、非線形系や剛性系を含む、さまざまな種類の微分方程式に一般化可能か？

主な発見

• 修正されたアインシュタインの重力方程式では、標準PINNsが収束しなかったが、DEQGANはL2、L1、Huber損失を使用するPINNsと比較して、平均二乗誤差を最大10^8倍低減した。
• 非線形バーガース方程式では、DEQGANの平均二乗誤差は4×10^−6に達し、最良のPINNベースライン（1×10^−4）を著しく上回った。
• ハミルトニアン系（HAM）では、DEQGANの平均二乗誤差は1×10^−10に達し、最良のPINNベースライン（6×10^−9）を上回り、4次ルンゲ＝クッタ法と同等の精度を達成した。
• 残差モニタリングは、学習の最初の25%以内に、平均二乗誤差が10^−5以上である100%の実行を正しく検出でき、無駄な計算を削減するための早期終了を可能にした。
• インスタンスノイズを導入した場合、最終的なMSEが10^−8以下のDEQGANの実行の96%が正常に完了したが、ノイズなしのベースラインDEQGANでは高い失敗率を示した。
• DEQGANは、12のテスト方程式すべてにおいて、2次有限差分法や4次ルンゲ＝クッタ法といった古典的数値ソルバーと同等の解の精度を達成した。