[論文レビュー] POD-DL-ROM: Enhancing deep learning-based reduced order models for nonlinear parametrized PDEs by proper orthogonal decomposition

Stefania Fresca, Andrea Manzoni|arXiv (Cornell University)|Jan 1, 2022

Model Reduction and Neural Networks参考文献 66被引用数 241

ひとこと要約

本稿では、非線形パrametr化されたPDEのための深層学習ベースの低次元モデル（DL-ROM）のオフライン学習フェーズを劇的に高速化するハイブリッド手法POD-DL-ROMを提案する。PODとDL-ROMを組み合わせることで、次元削減のためのランダム化POD（rPOD）とマルチフィidelity事前学習を適用し、ネットワークの複雑さと学習時間を削減しながらも、高い精度とオンライン効率を維持する。フルオーダーモデル（FOM）に対して最大6.59×10⁵倍の高速化を達成した。

ABSTRACT

Deep learning-based reduced order models (DL-ROMs) have been recently proposed to overcome common limitations shared by conventional reduced order models (ROMs) – built, e.g., through proper orthogonal decomposition (POD) – when applied to nonlinear time-dependent parametrized partial differential equations (PDEs). These might be related to (i) the need to deal with projections onto high dimensional linear approximating trial manifolds, (ii) expensive hyper-reduction strategies, or (iii) the intrinsic difficulty to handle physical complexity with a linear superimposition of modes. All these aspects are avoided when employing DL-ROMs, which learn in a non-intrusive way both the nonlinear trial manifold and the reduced dynamics, by relying on deep (e.g., feedforward, convolutional, autoencoder) neural networks. Although extremely efficient at testing time, when evaluating the PDE solution for any new testing-parameter instance, DL-ROMs require an expensive training stage, because of the extremely large number of network parameters to be estimated. In this paper we propose a possible way to avoid an expensive training stage of DL-ROMs, by (i) performing a prior dimensionality reduction through POD, and (ii) relying on a multi-fidelity pretraining stage, where different physical models can be efficiently combined. The proposed POD-DL-ROM is tested on several (both scalar and vector, linear and nonlinear) time-dependent parametrized PDEs (such as, e.g., linear advection–diffusion–reaction, nonlinear diffusion–reaction, nonlinear elastodynamics, and Navier–Stokes equations) to show the generality of this approach and its remarkable computational savings.

研究の動機と目的

• 大規模なパrametr化されたPDEに対する深層学習ベースの低次元モデル（DL-ROM）の学習にかかる計算コストの高い問題に対処すること。
• FOM次元Nhに伴いスケーリングが著しく悪化するDL-ROMにおける次元の呪いを克服すること。
• 精度やオンライン計算速度を損なわずに学習効率を向上させること。
• 従来、学習コストの高さにより実行不可能であった高精度な問題（例：ナビエ＝ストークス方程式）にDL-ROMを適用可能にする。
• 非侵襲的で、一般化可能で、非線形時間依存PDEの低次元モデリングに耐性のあるフレームワークを提供すること。

提案手法

• FOMスナップショットにランダム化POD（rPOD）を適用し、ニューラルネットワークの学習前に次元削減を行い、rPODを第1層のエンコーダとして扱う。
• 畳み込みオートエナブラ（CAE）を用いて解空間の非線形な試行多様体を学習し、デコーダーでフル解を再構築する。
• 深層順方向ネットワーク（DFNN）を用いて、時間とパramータにわたる一般化座標の低次元ダイナミクスをモデル化する。
• マルチフィidelity事前学習戦略を実装し、高精度なネットワークの重みを、粗いメッシュや簡略化された物理法則に基づく低精度モデルのパラメータで初期化する。
• オフライン学習フェーズを次元削減と事前学習に分離し、完全に再学習する必要があるパラメータ数を顕著に削減する。
• PODの数学的厳密性と効率性を統合しながらも、DL-ROMの非侵襲的性質を維持する。

実験結果

リサーチクエスチョン

• RQ1 POD-DL-ROMは、ネットワークの複雑さを増加させることなく、DL-ROMのオフライン学習コストを低減できるか？
• RQ2 rPODとマルチフィidelity事前学習の組み合わせが、得られるROMの精度および収束性に与える影響はいかほどか？
• RQ3 POD-DL-ROMは、高次元FOM（例：Nh > 10⁵）をどれほど効果的に処理できるか、かつ高速なオンライン評価を維持できるか？
• RQ4 POD-DL-ROMは、流体力学における渦の剥離といった複雑な物理現象を正確に捉えることができるか？
• RQ5 精度、学習時間、オンライン高速化の観点から、標準的なPODガレルキンROMおよび標準的なDL-ROMと比較して、POD-DL-ROMの性能はいかがなものか？

主な発見

• ナビエ＝ストークス問題（Nh = 64,892）に対して、V100 GPU上でのオフライン学習時間を50分にまで短縮した。これは、標準的なDL-ROMと比較して顕著に長い時間が必要となる状況と対照的である。
• 1パラメータインスタンスあたりのテスト時間はわずか0.1秒で、フルオーダーモデル（FOM）に対して2.15×10⁵倍の高速化を達成した。
• より高精度な問題（Nh = 257,528）に対しては、マルチフィidelity事前学習により、わずか10分の学習で1.4×10⁻²の相対誤差を達成し、スケーラビリティを示した。
• Re = 117では渦の剥離を正確に捉え、Re = 70ではその存在が確認されないことを示した。速度場の相対誤差は1.5%未満であった。
• 出口境界での流量予測はFOMと一致し、最大相対誤差1.65%を示した。これにより、関心の出力量の忠実度が確認された。
• 高精度ケースでは、テスト時の高速化が6.59×10⁵倍に達し、リアルタイムまたはそれ以上の速度でのシミュレーションが可能になった。