[論文レビュー] A comparative study of physics-informed neural network models for learning unknown dynamics and constitutive relations

Ramakrishna Tipireddy, Paris Perdikaris+2 more|arXiv (Cornell University)|Apr 2, 2019

Model Reduction and Neural Networks参考文献 14被引用数 34

ひとこと要約

本論文は、未知のダイナミクスと構成関係を学習するために、離散多ステップと連続物理情報 neural network (PINN) アプローチを比較し、試験ケースとして fedbatch 生物反応器を用いて、構成関係の学習時の精度が全体のダイナミクス学習より高いことを示す。離散法は全般的に優れており、連続法は構成関係には適しているが未知ダイナミクスには劣る場合がある。

ABSTRACT

We investigate the use of discrete and continuous versions of physics-informed neural network methods for learning unknown dynamics or constitutive relations of a dynamical system. For the case of unknown dynamics, we represent all the dynamics with a deep neural network (DNN). When the dynamics of the system are known up to the specification of constitutive relations (that can depend on the state of the system), we represent these constitutive relations with a DNN. The discrete versions combine classical multistep discretization methods for dynamical systems with neural network based machine learning methods. On the other hand, the continuous versions utilize deep neural networks to minimize the residual function for the continuous governing equations. We use the case of a fedbatch bioreactor system to study the effectiveness of these approaches and discuss conditions for their applicability. Our results indicate that the accuracy of the trained neural network models is much higher for the cases where we only have to learn a constitutive relation instead of the whole dynamics. This finding corroborates the well-known fact from scientific computing that building as much structural information is available into an algorithm can enhance its efficiency and/or accuracy.

研究の動機と目的

• 力学系における未知のダイナミクスと構成関係を学習するために、データと物理知識の統合を動機づける。
• 四つのPINNバリアント（離散多ステップと連続PINN）を系統的に比較して、ダイナミクスと構成関係の学習を評価する。
• 扱いやすく感度の高い fedbatch 生物反応器モデルでアプローチを評価し、適用可能性と制約を明らかにする。
• 既知の構造を組み込むことが計算効率と精度を向上させることを示す。

提案手法

• 未知のダイナミクス f(y,t;λ) が完全に未知の場合、ニューラルネットワークで近似する。
• PINNと多ステップ離散化を組み合わせて f を学習する、あるいは λ(y) を学習する。
• 支配方程式が既知だがλが未知の場合、構成関係をニューラルネットワークで表現する。
• 残差項とデータ適合項を最小化することで y(t) と f(y,t) を学習する連続PINNの定式化を適用する。
• ダイナミクスや構成関係の学習に対して離散多ステップNNと連続PINNアプローチを比較する。
• 測定データの基準として Haldane キネティクスを真値とする fedbatch 生物反応器（FBR）モデルをテストケースとして用いる。

実験結果

リサーチクエスチョン

• RQ1 未知のダイナミクスに対してどのPINNバリアント（離散多ステップ vs. 連続）がより正確か？
• RQ2 ニューラルネットワーク学習に既知の物理（ダイナミクスまたは構成関係）を組み込むことは予測精度とデータ効率を改善するか？
• RQ3 初期条件と学習データの期間は各手法の補間対外挿の性能にどう影響するか？
• RQ4 CPINN は複雑な生物反応器モデルにおいて状態変数に非線形に依存する構成関係を信頼性高く学習できるか？

主な発見

• 離散多ステップNNは未知のダイナミクスと構成関係の両方の学習に対して正確性を提供する。
• 連続PINNは構成関係の学習に優れているが、この設定では未知ダイナミクスの学習では劣る可能性がある。
• 構成関係の学習は、既知の物理構造を活用することで全体のダイナミクス学習より高い精度を得やすい。
• CPINN は μ(S) のような構成関係を正確に推定し、それを用いて新しい条件下での系の挙動を予測できる。
• CPINN は限定的または不均一なデータから未知ダイナミクスを学習するのに苦労することがあり、追加の制約やデータが必要になる場合がある。
• データが不足している場合や初期条件が異なる場合には、複数の短い軌道を用いると学習が改善する。