[論文レビュー] Improved Surrogate Modeling of Fluid Dynamics with Physics-Informed Neural Networks

Jian Cheng Wong, Chinchun Ooi+2 more|arXiv (Cornell University)|May 5, 2021

Model Reduction and Neural Networks参考文献 39被引用数 14

ひとこと要約

この論文は、一般化性、耐障害性、収束速度の向上を図るため、支配方程式を正則化として統合する物理情報付きニューラルネットワーク（PINNs）を提案している。ノイズが多い、または不完全な物理的条件下でも、最大3倍速い収束と、テスト誤差で1桁の改善を達成しており、新規シナリオへの迅速な適応を可能にする新規の転移最適化スキームを導入している。

ABSTRACT

Physics-Informed Neural Networks (PINNs) have recently shown great promise as a way of incorporating physics-based domain knowledge, including fundamental governing equations, into neural network models for many complex engineering systems. They have been particularly effective in the area of inverse problems, where boundary conditions may be ill-defined, and data-absent scenarios, where typical supervised learning approaches will fail. Here, we further explore the use of this modeling methodology to surrogate modeling of a fluid dynamical system, and demonstrate additional undiscussed and interesting advantages of such a modeling methodology over conventional data-driven approaches: 1) improving the model's predictive performance even with incomplete description of the underlying physics; 2) improving the robustness of the model to noise in the dataset; 3) reduced effort to convergence during optimization for a new, previously unseen scenario by transfer optimization of a pre-existing model. Hence, we noticed the inclusion of a physics-based regularization term can substantially improve the equivalent data-driven surrogate model in many substantive ways, including an order of magnitude improvement in test error when the dataset is very noisy, and a 2-3x improvement when only partial physics is included. In addition, we propose a novel transfer optimization scheme for use in such surrogate modeling scenarios and demonstrate an approximately 3x improvement in speed to convergence and an order of magnitude improvement in predictive performance over conventional Xavier initialization for training of new scenarios.

研究の動機と目的

• 限られたデータやノイズの多いデータを前提とした流体動力学のスレーブモデル向上のため、物理情報付きニューラルネットワーク（PINNs）を用いること。
• 完全でない物理法則を組み込むことで、純粋にデータ駆動型の手法と比較してモデル性能がどのように向上するかを調査すること。
• 転移最適化を用いて、未観測の流体動力学的シナリオに対する学習時間を短縮し、一般化性能を向上させること。
• 訓練データのノイズに対するPINNの耐障害性と、境界条件が不正確な場合でも精度を維持できる能力を評価すること。

提案手法

• 著者らは、データ適合性とナビエ＝ストークス方程式の残差を組み合わせた損失関数を最小化することで、物理情報付きニューラルネットワーク（PINN）を学習する。
• PINNアーキテクチャは、観測データと物理的制約を組み合わせた、学習率を適応的に調整する確率的勾配降下法で訓練される。
• 新規の転移最適化スキームが導入され、関連する流体動力学的シナリオで事前に訓練されたモデルの重みを初期値として用いることで収束を加速する。
• 自動微分を活用して、ニューラルネットワーク出力の空間的・時間的微分を計算し、偏微分方程式（PDE）の弱い強制を可能にする。
• 欠損やノイズのあるデータ下でも、支配的流体動力学方程式からの逸脱をペナルティ化する残差ベースの損失項を用いる。
• 新しい境界条件や初期条件に適応するための微調整を最小限に抑えられるように、転移学習をサポートするフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 不完全またはノイズの多いデータ下で、物理的正則化を組み込むことで、流体動力学スレーブモデルの予測性能がどのように向上するか？
• RQ2 標準的なデータ駆動型モデルと比較して、PINNフレームワークは訓練データのノイズに対してどの程度耐障害性を示すか？
• RQ3 未観測の流体動力学的シナリオをモデル化する際、転移最適化が学習時間の短縮と収束速度の向上にどの程度寄与するか？
• RQ4 PINN損失関数に部分的な物理法則のみを含めた場合に、どの程度の性能向上が得られるか？
• RQ5 標準的なXavier初期化と比較して、提案された転移最適化スキームは収束速度と予測精度の両面でどの程度優れているか？

主な発見

• 非常にノイズの多いデータセットで学習したPINNモデルは、テスト誤差が1桁改善され、データ損傷に対する優れた耐障害性を示した。
• 損失関数に完全な物理法則を含めない部分的な物理法則のみを組み込んでも、純粋にデータ駆動型のベースラインと比較して2〜3倍の予測精度向上が達成された。
• 提案された転移最適化スキームにより、標準的なXavier初期化と比較して収束までの学習時間が約3倍短縮された。
• 境界条件が不正確な状況下でも、PINNフレームワークは高い精度を維持し、逆問題設定において従来の教師あり学習を上回った。
• 物理的正則化の組み込みにより、大量のラベル付きデータの必要性が著しく減少し、多様な流体動力学的シナリオにおける一般化性能が向上した。
• 事前学習済みモデルを用いた微調整により、新しいシナリオへの迅速な適応が可能となり、再学習に必要なリソースを最小限に抑えられた。