[論文レビュー] Scientific Machine Learning through Physics-Informed Neural Networks: Where we are and What's next

Salvatore Cuomo, Vincenzo Schiano Di Cola+4 more|arXiv (Cornell University)|Jan 14, 2022

Model Reduction and Neural Networks被引用数 83

ひとこと要約

物理情報ニューラルネットワーク（PINNs）の包括的なレビュー、その構成要素、派生型、適用、利点、限界、および将来の方向性。

ABSTRACT

Physics-Informed Neural Networks (PINN) are neural networks (NNs) that encode model equations, like Partial Differential Equations (PDE), as a component of the neural network itself. PINNs are nowadays used to solve PDEs, fractional equations, integral-differential equations, and stochastic PDEs. This novel methodology has arisen as a multi-task learning framework in which a NN must fit observed data while reducing a PDE residual. This article provides a comprehensive review of the literature on PINNs: while the primary goal of the study was to characterize these networks and their related advantages and disadvantages. The review also attempts to incorporate publications on a broader range of collocation-based physics informed neural networks, which stars form the vanilla PINN, as well as many other variants, such as physics-constrained neural networks (PCNN), variational hp-VPINN, and conservative PINN (CPINN). The study indicates that most research has focused on customizing the PINN through different activation functions, gradient optimization techniques, neural network structures, and loss function structures. Despite the wide range of applications for which PINNs have been used, by demonstrating their ability to be more feasible in some contexts than classical numerical techniques like Finite Element Method (FEM), advancements are still possible, most notably theoretical issues that remain unresolved.

研究の動機と目的

• PINNsを定義し、偏微分方程式（PDE）および関連する問題を解く動機を説明する。
• PINNsで用いられる構成要素とニューラルネットワークアーキテクチャを要約する。
• 変種（PCNN、hp-VPINN、CPINN）を調査し、物理と学習の統合における役割を説明する。
• 学習理論、精度、収束、利用可能なツールチェーンについて論じる。
• PINNsにおける未解決の理論的問題と今後の研究方向を明らかにする。

提案手法

• PDE残差と境界条件・初期条件をニューラルネットワークの損失関数に埋め込むというPINNフレームワークを説明する。
• 一般的なPDE問題とPINN目的を、物理残差・境界条件・データ損失の重み付き和として形式化する。
• NNアーキテクチャ（FFNN/MLP、CNN、RNN）とそれらのPINNへの適性をレビューする。
• 学習と精度に影響を与える活性化関数やアーキテクチャ的選択について論じる。
• hp-VPINN、CPINN、PCNN、DeepONetスタイルのマルチネットワーク構成といった変種を調査する。
• 関連アプローチ（例：DRM、Deep Galerkin、hp-VPINN など）の現状とPINNsとの関連を要約する。

実験結果

リサーチクエスチョン

• RQ1 Physics-Informed Neural Networks とは何で、どのような問題を解くことを目指しているのか？
• RQ2 PINNs の主な構成要素とアーキテクチャの選択肢は何ですか？
• RQ3 ベースのPINNsを超えるどのようなバリアントが存在し、どのように物理制約を組み込んでいますか？
• RQ4 PINNs における理論的・実践的な課題（精度、収束、トレーニング）とは何で、今後の方向性は何が提案されていますか？
• RQ5 能力と制限の観点から、PINNsは従来の数値法や他のML手法とどう比較されますか？

主な発見

• PINNsは、PDE残差と境界条件・初期条件をトレーニング損失に組み込むメッシュフリーのニューラルネットです。
• PINNsは同じ最適化フレームワーク内で前方問題と逆問題の両方に対処できます。
• さまざまなNNアーキテクチャ（FFNNs、CNNs、RNNs）と活性化関数がPINNの性能に影響を与えます。
• 物理統合と頑健性を高めるために、PCNN、hp-VPINN、CPINNなどのいくつかの変種やマルチネットワーク設計が提案されてきました。
• 複雑な幾何学や高次元を扱う利点を提供しますが、理論的理解と収束保証は未解決のままです。
• 2019年以降、PINNsに関する文献は急速に拡大しており、常微分方程式だけでなく、微分積分方程式、確率偏微分方程式にも幅広く適用されています。