[論文レビュー] Physics-Guided, Physics-Informed, and Physics-Encoded Neural Networks in Scientific Computing

Salah A Faroughi, Nikhil Pawar+5 more|arXiv (Cornell University)|Nov 14, 2022

Model Reduction and Neural Networks被引用数 47

ひとこと要約

本論文は、科学計算における物理法則の適用を目的とした四つのニューラルネットワークフレームワーク—PgNNs、PiNNs、PeNNs、および neural operators (NOs)—をレビューし、流体力学と固体力学におけるアーキテクチャ、応用、制限、および将来の機会について論じる。

ABSTRACT

Recent breakthroughs in computing power have made it feasible to use machine learning and deep learning to advance scientific computing in many fields, including fluid mechanics, solid mechanics, materials science, etc. Neural networks, in particular, play a central role in this hybridization. Due to their intrinsic architecture, conventional neural networks cannot be successfully trained and scoped when data is sparse, which is the case in many scientific and engineering domains. Nonetheless, neural networks provide a solid foundation to respect physics-driven or knowledge-based constraints during training. Generally speaking, there are three distinct neural network frameworks to enforce the underlying physics: (i) physics-guided neural networks (PgNNs), (ii) physics-informed neural networks (PiNNs), and (iii) physics-encoded neural networks (PeNNs). These methods provide distinct advantages for accelerating the numerical modeling of complex multiscale multi-physics phenomena. In addition, the recent developments in neural operators (NOs) add another dimension to these new simulation paradigms, especially when the real-time prediction of complex multi-physics systems is required. All these models also come with their own unique drawbacks and limitations that call for further fundamental research. This study aims to present a review of the four neural network frameworks (i.e., PgNNs, PiNNs, PeNNs, and NOs) used in scientific computing research. The state-of-the-art architectures and their applications are reviewed, limitations are discussed, and future research opportunities in terms of improving algorithms, considering causalities, expanding applications, and coupling scientific and deep learning solvers are presented. This critical review provides researchers and engineers with a solid starting point to comprehend how to integrate different layers of physics into neural networks.

研究の動機と目的

• 科学計算におけるデータ不足に対処するため、物理法則がニューラルネットワークに組み込まれる方法を要約する。
• アーキテクチャ、長所、制限の観点から PgNNs、PiNNs、PeNNs、および neural operators を比較する。
• これらのフレームワークの流体力学および固体力学への応用を分析する。
• 現在の制限を明らかにし、物理と深層学習を統合する将来の研究方向を概説する。

提案手法

• PgNNs を、物理に基づくデータセット上での教師あり学習を通じて既知の物理を組み込んだデータ駆動型の代理モデルとして記述する。
• PiNNs を、支配方程式の残差を損失関数に組み込み、自動微分を用いて物理法則を埋め込むモデルとして説明する。
• データ不足下での一般化を強化するために、物理を直接ネットワーク構造にエンコードするアーキテクチャとして PeNNs を紹介する。
• 連続演算子を学習するモデルとして neural operators (NOs) を検討し、リアルタイム予測を可能にし、PiNN/PeNN フレームワークとの結合の可能性を議論する。

実験結果

リサーチクエスチョン

• RQ1 科学計算における物理の遵守を実現する異なるニューラルネットワークフレームワーク（PgNNs、PiNNs、PeNNs、NOs）とは何か、理論と実践でどう異なるか。
• RQ2 これらの物理情報モデルの流体力学・固体力学への主な応用、利点、制限は何か。
• RQ3 データ sparsity と一般化をどのように解決するか、リアルタイムまたは多物理場シミュレーションの見通しはどうか。
• RQ4 アルゴリズム、因果性の考慮、ソルバー結合を向上させる将来の研究機会は何か。

主な発見

• PgNNs は、物理ベースのデータを活用することにより、科学計算における前処理、モデリング、後処理のステップを加速できる。
• PiNNs は方程式の残差を通じて物理法則を強制し、データが希少な場合の学習を可能にするが、収束性、安定性、境界条件の取り扱いなどの課題がある。
• PeNNs は物理をネットワークアーキテクチャにエンコードし、データ不足時の性能と一般化を PgNNs および PiNNs と比べて向上させる。
• Neural operators (NOs) は連続演算子を学習し、リアルタイム推論のロバスト性を提供し、複雑な非線形多物理学学習のために PiNNs および PeNNs と組み合わせることができる。
• Hybrid approaches that couple neural architectures with traditional solvers can achieve substantial speed-ups (e.g., coarser grids with comparable accuracy) and improved efficiency in CFD and multi-physics problems.
• The review highlights the state-of-the-art architectures, cross-domain applications, and the need for further fundamental research on causality, convergence, and broader applications.