[論文レビュー] Transfer Learning with Physics-Informed Neural Networks for Efficient Simulation of Branched Flows

Raphaël Pellegrin, Blake Bullwinkel+2 more|arXiv (Cornell University)|Nov 1, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、ハミルトニアン方程式に従う非線形分岐流れを効率的にシミュレートするために、トランスファー学習を組み合わせたマルチヘッド物理情報ニューラルネットワーク（PINN）フレームワークを提案する。初期条件の多様なセットでベースネットワークを事前学習し、ヘッド部分のみを微調整することで、FFNNでは最大42.34エポック/秒、DEQGANでは17.09エポック/秒の著しい計算高速化を達成したが、精度を維持するとともに、新しい初期条件やランダムポテンシャルへの一般化性能を示した。

ABSTRACT

Physics-Informed Neural Networks (PINNs) offer a promising approach to solving differential equations and, more generally, to applying deep learning to problems in the physical sciences. We adopt a recently developed transfer learning approach for PINNs and introduce a multi-head model to efficiently obtain accurate solutions to nonlinear systems of ordinary differential equations with random potentials. In particular, we apply the method to simulate stochastic branched flows, a universal phenomenon in random wave dynamics. Finally, we compare the results achieved by feed forward and GAN-based PINNs on two physically relevant transfer learning tasks and show that our methods provide significant computational speedups in comparison to standard PINNs trained from scratch.

研究の動機と目的

• 各新しい初期条件やシステムパラメータに対してPINNを再学習する際の高い計算コストを低減すること。
• 確率的分岐流れ現象に由来する非線形常微分方程式系の効率的解法を可能にすること。
• 非線形力学における初期条件およびランダムポテンシャルの両方に一般化可能なトランスファー学習フレームワークの開発。
• フィードフォワード型とGANベースのPINNの両方が、物理系におけるトランスファー学習設定でどのように性能を発揮するかを比較すること。
• 事前学習済みPINNベースが、特定の設定を超えて波動ダイナミクスの一般統計的性質を学習できるかどうかを実証すること。

提案手法

• 入力を処理する共有ベースネットワークと、異なる初期条件ごとに解を生成する複数の線形ヘッドを持つマルチヘッドPINNアーキテクチャを採用する。
• 初期条件の再パrameterizationを適用し、変換式 $\tilde{u}_{l,i}(t) = [\mathbb{z}_l(0)]_i + (1 - e^{-t})u_{l,i}(t)$ により初期条件の正確な満たしを強制する。
• システムのダイナミクスの代表的基底を学習するために、11個の初期条件のセットでマルチヘッドモデルを学習する。
• ベースネットワークの重みを凍結し、新しい初期条件（初期条件トランスファー）や新しいランダムポテンシャル（ポテンシャルトランスファーレーニング）に対して、出力ヘッドのみを微調整する。
• フィードフォワードニューラルネットワーク（FFNN）とDEQGAN（GANベースのPINN）を用いて、残差を最小化する損失関数を学習・比較する。
• 自動微分を活用してニューラル解の導関数を計算し、ドメイン内でサンプリングされた点における残差損失を計算する。

実験結果

リサーチクエスチョン

• RQ1 マルチヘッドPINNを用いたトランスファー学習は、分岐流れ系における非線形ODEの解法に際し、学習時間を顕著に短縮できるか？
• RQ2 ベース学習時に使用されなかった新しい初期条件に対しても、事前学習済みPINNベースが一般化できるか？
• RQ3 同じ統計的性質（σおよびA）を持つ新しいランダムポテンシャルに対しても、同一のベースネットワークを適応可能にできるか？
• RQ4 トランスファー学習設定において、GANベースのPINN（DEQGAN）は、標準的なFFNNと比較して収束速度および損失最小化の面で優れているか？
• RQ5 ベースネットワークが、特定の設定を超えて、物理系の一般統計的性質をどの程度学習できるか？

主な発見

• マルチヘッドPINNを用いたトランスファー学習により、FFNNでは最大42.34エポック/秒、DEQGANでは17.09エポック/秒の学習時間短縮が、初期から学習を開始する場合と比較して達成された。
• シングルヘッドのトランスファー学習モデルは、初期から学習を開始する古典的シングルヘッドPINNと比較して、収束が速く、学習中における残差損失も低かった。
• ベース学習に使用されなかった100個の新しい初期条件についても、分岐流れ軌道のシミュレーションに成功し、優れた一般化性能を示した。
• ポテンシャルトランスファーレーニングでは、ベースネットワークが新しいランダムポテンシャルに適応でき、同じ統計的性質（σおよびA）を有する場合に解の精度を維持できたことが示された。
• DEQGANモデルは、ベース学習およびトランスファー学習の両フェーズで、FFNNよりも低い残差損失を達成しており、損失関数の最適化の質が向上していることを示唆している。
• マルチヘッドアーキテクチャにより、最小限の再学習で複数の初期条件に対する効率的推論が可能となり、パrametricスタディへのスケーラビリティが顕著に高まった。