[論文レビュー] Learning the solution operator of parametric partial differential equations with physics-informed DeepOnets

Sifan Wang, Hanwen Wang+1 more|arXiv (Cornell University)|Mar 19, 2021

Model Reduction and Neural Networks被引用数 61

ひとこと要約

論文は physics-informed 正則化を DeepONet に拡張して、パラメトリック PDE 解の作用素を学習可能にし、データ効率的な訓練と PDE 一貫性のある予測を実現します。初期条件/境界条件のみでデータなし学習をゼロショットで可能にし、PDE 解法を数オーダーの速さで加速します。

ABSTRACT

Deep operator networks (DeepONets) are receiving increased attention thanks to their demonstrated capability to approximate nonlinear operators between infinite-dimensional Banach spaces. However, despite their remarkable early promise, they typically require large training data-sets consisting of paired input-output observations which may be expensive to obtain, while their predictions may not be consistent with the underlying physical principles that generated the observed data. In this work, we propose a novel model class coined as physics-informed DeepONets, which introduces an effective regularization mechanism for biasing the outputs of DeepOnet models towards ensuring physical consistency. This is accomplished by leveraging automatic differentiation to impose the underlying physical laws via soft penalty constraints during model training. We demonstrate that this simple, yet remarkably effective extension can not only yield a significant improvement in the predictive accuracy of DeepOnets, but also greatly reduce the need for large training data-sets. To this end, a remarkable observation is that physics-informed DeepONets are capable of solving parametric partial differential equations (PDEs) without any paired input-output observations, except for a set of given initial or boundary conditions. We illustrate the effectiveness of the proposed framework through a series of comprehensive numerical studies across various types of PDEs. Strikingly, a trained physics informed DeepOnet model can predict the solution of $\mathcal{O}(10^3)$ time-dependent PDEs in a fraction of a second -- up to three orders of magnitude faster compared a conventional PDE solver. The data and code accompanying this manuscript are publicly available at \url{https://github.com/PredictiveIntelligenceLab/Physics-informed-DeepONets}.

研究の動機と目的

• パラメトリック PDE の解法作用素を学習する動機づけと、標準的な DeepONet のデータ効率および物理的一貫性の欠点に対処する。
• トレーニング中に自動微分を用いて支配方程式を課す物理-informed 正則化フレームワークを導入する。
• 限られた、または対をなすデータがほとんどない状況での作用素学習のデータ効率性とゼロショット学習能力を実証する。
• 拡散反応、常微分方程式（ODE）、高周波入力領域を含む性能を示し、分布外テストも含む。

提案手法

• 解空間 G をアンスタックド DeepONet として表現し、入力用ブランチネットと座標用トランクネットをドット積で統合する。
• 複合損失 L = L_operator + L_physics で訓練する。L_operator は入出力の対応が可能な場合に DeepONet の出力を真の解と一致させる。
• L_physics は自動微分を用いた PDE 愢残ペナルティとして、支配方程式を満たすように課す。
• Gaussian random field の入力を用いて多様なパラメトリック PDE 状況を生成し、データ効率と一般化を評価する。
• 困難なケースでは、入力および出力の高周波成分を捉えるために Fourier feature 埋め込みを用いる。
• 組み合わせデータなしの学習を実証し、モデルが初期条件/境界条件と PDE 制約を守る。

実験結果

リサーチクエスチョン

• RQ1 物理 informed 正則化は、対となるデータセットが豊富でなくても DeepONet が基礎 PDE を守るように導けるか？
• RQ2 物理-informed 訓練は、パラメトリック PDE オペレーターのデータ効率性、一般化、外挿性にどのように影響するか？
• RQ3 高周波成分を irregular inputs から学習できるどのようなアーキテクチャ（例：Fourier features）が適しているか？
• RQ4 従来のソルバーと比較してこのようなモデルは PDE 解法をどの程度加速できるか？
• RQ5 現実的な IBCs を伴う複雑なパラメトリック PDE に対してゼロショットまたはデータ少ない訓練は実現可能か？

主な発見

• 物理-informed DeepONet は、従来の DeepONet と比較して予測精度を大幅に改善し、データ要件を低減する。
• 物理-informed フレームワークは、入力-出力データの対を用意せずに、初期/境界条件と PDE 残差のみに基づいてオペレーターを学習できる。
• 適切なアーキテクチャ（例：Fourier features）を用いると、高周波の入力関数や不規則な入力を正確に扱える。
• 予測解と残差は真値と良く整合し、ゼロショットまたはデータ希少な訓練でも競争力のある精度を達成する。
• Physics-informed DeepONets は従来のソルバーと比較して PDE 解を数オーダーの速さで予測できる。