[論文レビュー] A fast and accurate physics-informed neural network reduced order model with shallow masked autoencoder

Youngkyu Kim, Youngsoo Choi+2 more|arXiv (Cornell University)|Sep 25, 2020

Model Reduction and Neural Networks参考文献 85被引用数 42

ひとこと要約

本論文は、NM-ROM（非線形多様体縮約次元モデル）を提案し、浅いマスク付きオートエンコーダを用いて対流支配問題の計算速度を向上させる。ハイパーリダクションと物理情報を用いた訓練によって支援される。

ABSTRACT

Traditional linear subspace reduced order models (LS-ROMs) are able to accelerate physical simulations, in which the intrinsic solution space falls into a subspace with a small dimension, i.e., the solution space has a small Kolmogorov n-width. However, for physical phenomena not of this type, e.g., any advection-dominated flow phenomena, such as in traffic flow, atmospheric flows, and air flow over vehicles, a low-dimensional linear subspace poorly approximates the solution. To address cases such as these, we have developed a fast and accurate physics-informed neural network ROM, namely nonlinear manifold ROM (NM-ROM), which can better approximate high-fidelity model solutions with a smaller latent space dimension than the LS-ROMs. Our method takes advantage of the existing numerical methods that are used to solve the corresponding full order models. The efficiency is achieved by developing a hyper-reduction technique in the context of the NM-ROM. Numerical results show that neural networks can learn a more efficient latent space representation on advection-dominated data from 1D and 2D Burgers' equations. A speedup of up to 2.6 for 1D Burgers' and a speedup of 11.7 for 2D Burgers' equations are achieved with an appropriate treatment of the nonlinear terms through a hyper-reduction technique. Finally, a posteriori error bounds for the NM-ROMs are derived that take account of the hyper-reduced operators.

研究の動機と目的

• 対流支配性や急な勾配を伴う問題に対する線形部分空間ROMの限界に対処する。
• 解の表現に浅いマスク付きオートエンコーダを用いる非線形多様体ROM（NM-ROM）を開発する。
• 精度を維持しつつNM-ROMの計算を加速するためにハイパーリダクションを活用する。
• ハイパーリダクションされた作用素を考慮した後方誤差界を導出する。
• 1Dおよび2Dのバーガーズ方程式で性能向上を実証する。

提案手法

• 低次元潜在空間を全空間へ写像するデコーダgを介して非線形多様体上で解を表現する。
• FOMデータから非線形多様体表現を学習するために、浅いマスク付きオートエンコーダを用いる。
• NM-GalerkinおよびNM-LSPG射影を適用して縮約階微分方程式を得る。
• 時間ステップ実行中に非線形項を効率的に評価するためのハイパーリダクション手法を組み込む。
• 解のスナップショットでオートエンコーダを訓練し、学習を安定化させるためデータを正規化する。
• ハイパーリダクションされた作用素の効果を組み込んだ後方誤差境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 対流支配問題に対して、NM-ROMはLS-ROMsより小さな潜在次元で正確な近似を達成できるか。
• RQ2 1Dおよび2Dの設定でハイパーリダクションがNM-ROMの速度と精度に与える影響はどうか。
• RQ3 ハイパーリデュースされたNM-ROMを用いたときの理論的誤差境界は何か。
• RQ4 NM-ROMの効率性の文脈で、浅いマスク付きオートエンコーダはより深いアーキテクチャとどう比較されるか。
• RQ5 保存則と物理的構造を保持する上で、非線形多様体表現の役割は何か。

主な発見

• NM-ROMは対流支配データ（1Dおよび2Dのバーガーズ方程式）に対して、より効率的な潜在空間表現を学習できる。
• 適切な非線形項ハイパーリダクションにより、1D Burgers’で最大2.6倍、2D Burgers’で最大11.7倍のスピードアップを達成。
• NM-ROMの後方誤差境界が、ハイパーリデュースされた演算子を考慮して導出される。
• デコーダは浅いマスク付きネットワークで、ヤコビ行列計算を効率化しハイパーリダクションとの統合を可能にする。
• この手法は全次元モデルの既存の数値法を活用して代理モデルを制約し、忠実性を向上させる。