[論文レビュー] Physics-Informed Deep Neural Operator Networks

Somdatta Goswami, Aniruddha Bora+2 more|arXiv (Cornell University)|Jul 8, 2022

Model Reduction and Neural Networks被引用数 13

ひとこと要約

この論文は、偏微分方程式（PDE）のための高速で一般化可能かつ高精度なスラグモデルを実現するため、物理法則を組み込んだニューラルオペレーター（DeepONet、Fourier Neural Operator (FNO)、グラフニューラルオペレーターなど）を統合した物理学的制約付き深層ニューラルオペレーターを導入する。学習中に支配方程式を損失関数に埋め込むことで、再訓練を必要とせず、多様な境界条件および初期条件においてリアルタイムの推論が可能となり、次元の呪いを克服し、流体力学、固体力学、気象モデル化などに、数桁の高速化をもたらす。

ABSTRACT

Standard neural networks can approximate general nonlinear operators, represented either explicitly by a combination of mathematical operators, e.g., in an advection-diffusion-reaction partial differential equation, or simply as a black box, e.g., a system-of-systems. The first neural operator was the Deep Operator Network (DeepONet), proposed in 2019 based on rigorous approximation theory. Since then, a few other less general operators have been published, e.g., based on graph neural networks or Fourier transforms. For black box systems, training of neural operators is data-driven only but if the governing equations are known they can be incorporated into the loss function during training to develop physics-informed neural operators. Neural operators can be used as surrogates in design problems, uncertainty quantification, autonomous systems, and almost in any application requiring real-time inference. Moreover, independently pre-trained DeepONets can be used as components of a complex multi-physics system by coupling them together with relatively light training. Here, we present a review of DeepONet, the Fourier neural operator, and the graph neural operator, as well as appropriate extensions with feature expansions, and highlight their usefulness in diverse applications in computational mechanics, including porous media, fluid mechanics, and solid mechanics.

研究の動機と目的

• 多様な入力条件に一般化できるニューラルオペレーターのアーキテクチャを開発し、物理系におけるリアルタイム推論を可能にすること。
• 既知の物理法則をニューラルオペレーターの学習に統合し、一般化性能を向上させるとともに、データ依存性を低減すること。
• 従来の低次元モデルやPINNsの限界を克服し、新たな条件に対して再訓練なしに高速推論を可能にすること。
• 風力発電所のシミュレーションや気候モデル化など、大規模かつ高次元の問題へニューラルオペレーターをスケーリングすること。
• オペレーターレベルの継続的学習を通じて、デジタルツインや複雑なシステム・オブ・システムにおける因果推論の開発を可能にすること。

提案手法

• 入力関数から出力関数への非線形オペレーターを近似するため、別々のブランチネットワークとトランクネットワークを持つ二本のブランチを持つDeepONetという二本のブランチを持つニューラルネットワークアーキテクチャを採用する。
• FNO（Fourier Neural Operator）を用い、積分カーネルをフーリエ空間でパラメータライズすることで、構造的グリッド上のオペレーターの効率的学習を可能にする。
• 不規則な幾何構造や複雑なトポロジーを持つ系をモデル化するため、グラフニューラルオペレーターを導入し、ニューラルオペレーターの適用範囲を拡張する。
• 支配的PDEを学習目的関数に埋め込むことで、物理的制約付き損失を適用し、ラベル付きデータへの依存度を低減する。
• 特徴量拡張とマルチフィデリティデータ統合を適用することで、高次元問題における一般化性能を向上させるとともに、学習コストを削減する。
• オペレーターレベルでの転移学習および継続的学習を可能にし、最小限のファインチューニングで分布外条件に適応できるようにする。

実験結果

リサーチクエスチョン

• RQ1 物理的制約付きニューラルオペレーターは、再訓練なしに多様な境界条件および初期条件に一般化可能か？
• RQ2 物理的制約付き損失は、ニューラルオペレーター学習における一般化性能を向上させ、データ要件を低減するか？
• RQ3 ニューラルオペレーターは、高次元パrameterized PDEにおける次元の呪いを克服できるか？
• RQ4 ニューラルオペレーターは、風力発電所の出力予測といった実世界の産業問題にスケーリング可能か？
• RQ5 ニューラルオペレーターは、継続的学習と因果モデリングを通じてデジタルツインの構築を支援できるか？

主な発見

• 物理的制約付きニューラルオペレーターは、再訓練なしに新たな条件に対してリアルタイム推論を実現し、従来のソルバーと比較して数千倍の高速化を達成する。
• DeepONetとFNOは、オペレーターの普遍的近似能力を示し、最小限のファインチューニングで訓練分布外にも一般化可能である。
• 物理法則を損失関数に統合することで、一般化性能が著しく向上し、特にデータが少ない状況下での依存度が低下する。
• ニューラルオペレーターは、予期しないまたは分布外の条件下でも、従来の低次元モデルを上回る一般化性能を示す。
• マルチフィデリティ学習アプローチにより、64台のタービンを含む風力発電所のシミュレーションのような高精度問題に対しても、計算コストを削減しながら効率的な学習が可能となり、精度を維持する。
• ニューラルオペレーターは、気候モデルーや人間の臓器のような複雑なシステムのデジタルツインの構築を可能にし、因果発見とリアルタイム推論の可能性を秘めている。