[論文レビュー] Improving physics-informed neural networks with meta-learned optimization

Alex Bihlo|arXiv (Cornell University)|Mar 13, 2023

Model Reduction and Neural Networks被引用数 11

ひとこと要約

この論文は、メタ学習済み最適化器が物理情報ニューラルネットワーク(PINN)の誤差とトレーニング時間を、いくつかの偏微分方程式(PDE)に渡って実質的に削減できること、および方程式クラス間の転移学習が実証されていることを示す。

ABSTRACT

We show that the error achievable using physics-informed neural networks for solving systems of differential equations can be substantially reduced when these networks are trained using meta-learned optimization methods rather than to using fixed, hand-crafted optimizers as traditionally done. We choose a learnable optimization method based on a shallow multi-layer perceptron that is meta-trained for specific classes of differential equations. We illustrate meta-trained optimizers for several equations of practical relevance in mathematical physics, including the linear advection equation, Poisson's equation, the Korteweg--de Vries equation and Burgers' equation. We also illustrate that meta-learned optimizers exhibit transfer learning abilities, in that a meta-trained optimizer on one differential equation can also be successfully deployed on another differential equation.

研究の動機と目的

• Adam のような固定最適化手法と比べて、メタ学習済み最適化が PINN のトレーニング誤差を低減できるかを調査する。
• PDE クラスで訓練された学習可能な最適化手法の、古典方程式解法における性能を評価する。
• 異なる微分方程式間でのメタ学習済み最適化の転移学習能力を評価する。
• 代表的な物理問題（linear advection、Poisson、KdV、および Burgers 方程式）で改善を実証する。

提案手法

• ニューラルネットワークの重みを更新するために、2,115 パラメータを持つ2層隠れ層のMLPに基づく学習可能な最適化手法を使用する。
• Eq. 3–4 に適合する降下ルールを生み出すよう、PDEタスクの狭いクラスで最適化手法をメタ訓練する。
• 降下を保証するため、名目上の Adam に似た項とブラックボックス項を組み合わせた更新規則を実装する（Eq. 4）。
• メタ最適化器への入力には、現在の重み、勾配、二次モーメントの蓄積、時間ステップ特徴量を含み、すべて正規化されている。
• ペーシスト進化戦略を用いてメタ最適化器でPINNを訓練する（N=2、K=1、alpha=1e-4）と、問題ごとに20タスク。
• 複数のPDE（linear advection、Poisson、KdV、Burgers）に対して標準のAdamと比較する。

実験結果

リサーチクエスチョン

• RQ1 標準的なPDEに対して、メタ学習済み最適化はAdamと比べてPINNのトレーニング損失と解の誤差を低減するか？
• RQ2 同じクラス内の他の方程式や異なる方程式クラス間で、メタ訓練済み最適化が転移できるか？
• RQ3 PINNにメタ学習済み最適化を用いた場合、目標精度を達成する際のスピードアップはどの程度か？
• RQ4 PDEクラス内で初期条件が変化した場合、またはPDEタイプを切り替えた場合（例：advection から Burgers へ）に、転移学習はどのように機能するか？

主な発見

• メタ学習済み最適化器は、テスト対象の方程式に対するPINNの訓練でAdamを大幅に上回る。
• linear advection 問題では、メタ学習器はAdamより訓練損失と点ごとの誤差を10倍以上小さくする。
• Poisson、KdV、Burgers 方程式では、メタ学習器がAdamより低い損失と小さな誤差を達成し、しばしば訓練の早い段階で同等かそれ以上の精度に達する。
• 転移学習が実証されている：ある方程式（例：linear advection）でメタ訓練された最適化手法が Burgers 方程式の訓練を改善し、Burgers で訓練された最適化手法は Adam を上回る。
• 場合によっては、より単純な方程式で訓練されたメタ学習済み最適化器が、長い学習後のAdamの最終損失よりも早く低い最終損失を達成し、速度向上の可能性を示唆する。
• 使用された最適化手法は軽量であり（PINNは10k未満のパラメータ、メタ最適化器は2,115パラメータ）、メタ訓練コストはPINN訓練中の利得で相殺される。