[論文レビュー] Towards Optimally Weighted Physics-Informed Neural Networks in Ocean Modelling

Taco de Wolff, Hugo Carrillo+2 more|arXiv (Cornell University)|Jun 16, 2021

Model Reduction and Neural Networks参考文献 25被引用数 20

ひとこと要約

この論文は、海洋モデリングにおける物理情報付きニューラルネットワーク（PINNs）を調査し、一般化性能を向上させるために、データ損失と物理損失項の最適な重み付けを提案する。限られたデータ下でも、物理的法則を組み込むことで、誤差を65%、ばらつきを56%削減する。tanhおよびGELU活性化関数が、2階微分の学習がより良いことから、ReLUよりも優れていることが判明した。

ABSTRACT

The carbon pump of the world's ocean plays a vital role in the biosphere and climate of the earth, urging improved understanding of the functions and influences of the ocean for climate change analyses. State-of-the-art techniques are required to develop models that can capture the complexity of ocean currents and temperature flows. This work explores the benefits of using physics-informed neural networks (PINNs) for solving partial differential equations related to ocean modeling; such as the Burgers, wave, and advection-diffusion equations. We explore the trade-offs of using data vs. physical models in PINNs for solving partial differential equations. PINNs account for the deviation from physical laws in order to improve learning and generalization. We observed how the relative weight between the data and physical model in the loss function influence training results, where small data sets benefit more from the added physics information.

研究の動機と目的

• 海洋学的PDEに適用するPINNsにおける、データ損失と物理損失の最適なバランスを特定すること。
• 訓練データが限られる状況下で、物理情報付き正則化がモデルの精度と安定性に与える影響を評価すること。
• 活性化関数、深さ、幅といったニューラルネットワークのハイパーパrameterが、最適な損失重みに与える影響を調査すること。
• 海洋モデリングをテストケースとして、自動PINNパrameter化フレームワークを構築すること。
• 低データ状況下で、安定した学習を保証する最小限のデータサブセットを特定すること。

提案手法

• データ適合性と物理的PDE残差を組み合わせた損失関数を定式化し、2つの項をバランスさせる学習可能な重みλを導入する。
• 海洋流体力学を代表する3つの代表的PDE（バーガース方程式、拡散移流方程式、波動方程式）にPINNsを適用する。
• tanh、GELU、ReLUなど多様な活性化関数を用いて、PDE微分の学習に与える影響を評価する。
• データセットサイズ（N_u）を変化させ、ランダムなデータサブセット選択を繰り返すことで、耐久性を評価する。
• ネットワークの幅、深さ、活性化関数の影響を調査するため、ハイパーパrameterスイープを実施する。
• 25回のランダムデータサブセット試行における相対誤差と標準偏差を分析し、安定性と性能を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 データ損失と物理損失の相対的重み付けが、海洋関連PDEを解くPINNの性能にどのように影響するか？
• RQ2 特にデータが限られる状況下で、物理情報付き正則化はどのような場面で最も効果的か？
• RQ3 どの活性化関数が、PINNsにおける2階以上微分の学習をより良く行えるか？
• RQ4 ネットワークアーキテクチャのハイパーパrameter（幅、深さ、活性化関数）が、最適な損失重みにどのように影響するか？
• RQ5 低データレジーム下で、安定した学習を保証する最小限のデータサブセットとは何か？

主な発見

• 物理損失項を追加することで、小規模なN_uにおける平均相対誤差が65%削減され、誤差の標準偏差が56%削減された。
• 最適な損失重みλはPDEごとに顕著に異なった：バーガース方程式ではλ = 0.1、拡散移流方程式ではλ = 0.5、波動方程式ではλ = 0.002であった。
• tanhおよびGELU活性化関数が他の関数を上回り、特に2階微分の学習において優れた性能を示した。一方、ReLUは微分が0となるため、特に2階微分の学習に失敗した。
• SoftsignおよびCELU関数も、x=0で2階微分が不連続であるため、性能が低かった。
• 物理損失を組み込んだPINNsは、異なるランダムデータサブセット選択に対しても、学習の安定性が向上し、ばらつきが減少した。
• 本研究は、特に海洋モデリングの文脈において、異なるPDEおよびハイパーパラメータを対象としたPINNsにおける最適な損失重み付けに関する、知られている最初の調査である。