[論文レビュー] Physics-Guided Deep Learning for Dynamical Systems: A Survey

Rui Wang, Rose Yu|arXiv (Cornell University)|Jul 2, 2021

Model Reduction and Neural Networks被引用数 44

ひとこと要約

物理指向の深層学習アプローチによるダイナミカルシステムの包括的調査。4つの問題タイプ（微分方程式の解法、ダイナミクスの予測、残差の学習、方程式の発見）と4つのアーキテクチャ/理論カテゴリ、PINNやTF-Netのようなケーススタディを詳述。

ABSTRACT

Modeling complex physical dynamics is a fundamental task in science and engineering. Traditional physics-based models are sample efficient, and interpretable but often rely on rigid assumptions. Furthermore, direct numerical approximation is usually computationally intensive, requiring significant computational resources and expertise, and many real-world systems do not have fully-known governing laws. While deep learning (DL) provides novel alternatives for efficiently recognizing complex patterns and emulating nonlinear dynamics, its predictions do not necessarily obey the governing laws of physical systems, nor do they generalize well across different systems. Thus, the study of physics-guided DL emerged and has gained great progress. Physics-guided DL aims to take the best from both physics-based modeling and state-of-the-art DL models to better solve scientific problems. In this paper, we provide a structured overview of existing methodologies of integrating prior physical knowledge or physics-based modeling into DL, with a special emphasis on learning dynamical systems. We also discuss the fundamental challenges and emerging opportunities in the area.

研究の動機と目的

• 深層学習と物理法則の統合を動機づけ、複雑な動的システムを効率的にモデル化する。
• 損失ベース、アーキテクチャ、ハイブリッド、対称性認識アプローチを横断して物理とDLを融合する方法を分類・分析する。
• データ効率、一般化、方程式発見の課題と機会を明らかにする。
• ダイナミカルシステムに関連する4つのコア問題定式化を通じて構造化されたガイダンスを提供する。

提案手法

• 4つの主要な学習問題を定式化する：微分方程式の解法、ダイナミクスの残差の学習、ダイナミクス予測、支配方程式の発見。
• トレーニング中にソフトな物理制約を課す物理ガイド付き損失関数（例：PINNs）をレビューする。
• ハードな物理制約を専門的なニューラルモジュールで課すアーキテクチャ設計を論じる。
• 物理解法とデータ駆動部品を組み合わせたハイブリッド物理-DLモデルを扱う。
• 物理対称性を尊重して一般化を改善する不変/等変性DLモデルを探る。

Figure 1: Turbulent Flow Net: three identical encoders to learn the transformations of the three components of different scales, and one shared decoder that learns the interactions among these three components to generate the predicted 2D velocity field at the next instant. Each encoder-decoder pair

実験結果

リサーチクエスチョン

• RQ1 物理ガイド付き深層学習によるダイナミカルシステムの主な問題定式化は何か。
• RQ2 損失ベース、アーキテクチャ、ハイブリッド、対称性ベースの手法は物理知識をどのように活用するか。
• RQ3 安定性、精度、一般化の観点で物理-guided DLの利点と制限は何か。
• RQ4 DL技術を用いてデータから支配方程式をどのように発見できるか。
• RQ5 この分野の新たな機会と課題は何か。

主な発見

• 物理指向DLは数値解法を置換・補完することでデータシミュレーションを加速できる。
• 物理制約を組み込むことは科学的妥当性を高め、系全体の一般化を向上させる可能性がある。
• ハード（アーキテクチャ）とソフト（損失ベース）制約は補完的な利点と正確さ・堅牢性のトレードオフを提供する。
• ハミルトニアンおよびラグランジアンニューラルネットは学習したダイナミクスのエネルギー保存特性を強制する。
• ケーススタディは物理的一貫性の改善を示す。例として発散フリーな速度場および乱流予測のエネルギースペクトル整合性。

Figure 2: From left to right: Mean absolute divergence of different models’ predictions at varying forecasting horizon; The Energy Spectrum of the target, TF-Net , U-net and ResNet on the leftmost square sub-region; Ablation Study: Ground truth, prediction from TF-Net and the outputs of each small U