[論文レビュー] Non-intrusive Surrogate Modeling for Parametrized Time-dependent PDEs using Convolutional Autoencoders

Stefanos Nikolopoulos, Ioannis Kalogeris+1 more|arXiv (Cornell University)|Jan 14, 2021

Probabilistic and Robust Engineering Design参考文献 49被引用数 9

ひとこと要約

本稿では、畳み込みオートエンコーダー（CAE）と順方向型ニューラルネットワーク（FFNN）を用いて、パrameter化された時間依存PDEに対して非侵襲的で代替モデルを提案する。CAEによる符号化により高精度なFEM解行列を低次元の潜在空間に圧縮し、パrameter入力を潜在表現にマップするFFNNを学習し、CAEのデコーダーを用いて完全な解を再構成する。モンテカルロシミュレーションにおいて81倍の高速化を達成し、高い精度を維持した。

ABSTRACT

This work presents a non-intrusive surrogate modeling scheme based on machine learning technology for predictive modeling of complex systems, described by parametrized time-dependent PDEs. For these problems, typical finite element approaches involve the spatiotemporal discretization of the PDE and the solution of the corresponding linear system of equations at each time step. Instead, the proposed method utilizes a convolutional autoencoder in conjunction with a feed forward neural network to establish a low-cost and accurate mapping from the problem's parametric space to its solution space. For this purpose, time history response data are collected by solving the high-fidelity model via FEM for a reduced set of parameter values. Then, by applying the convolutional autoencoder to this data set, a low-dimensional representation of the high-dimensional solution matrices is provided by the encoder, while the reconstruction map is obtained by the decoder. Using the latent representation given by the encoder, a feed-forward neural network is efficiently trained to map points from the problem's parametric space to the compressed version of the respective solution matrices. This way, the encoded response of the system at new parameter values is given by the neural network, while the entire response is delivered by the decoder. This approach effectively bypasses the need to serially formulate and solve the system's governing equations at each time increment, thus resulting in a significant cost reduction and rendering the method ideal for problems requiring repeated model evaluations or 'real-time' computations. The elaborated methodology is demonstrated on the stochastic analysis of time-dependent PDEs solved with the Monte Carlo method, however, it can be straightforwardly applied to other similar-type problems, such as sensitivity analysis, design optimization, etc.

研究の動機と目的

• 不確実性評価や最適化などの応用分野において、パrameter化された時間依存PDEの繰り返しシミュレーションにかかる高い計算コストに対処すること。
• 非線形かつ非アフィンな問題において、繰り返し再投影を要する侵襲的リダクションベース手法の限界を克服すること。
• PDEを各タイムステップやパrameter値で解く必要がない、データ駆動型の非侵襲的代替モデルを開発すること。
• 完全な一次元FEM解の代わりに高速なニューラルネットワーク推論を用いることで、リアルタイムまたは高スルーレートのシミュレーションを可能にすること。
• 大規模なサンプル数を用いたモンテカルロシミュレーションを用いて、手法の有効性を実証すること。

提案手法

• パrameter値の少ない範囲で高精度なFEMシミュレーションから得た時間歴解行列を収集する。
• 畳み込みオートエンコーダー（CAE）のエンコーダーを用いて、高次元の解行列を低次元の潜在空間に圧縮する。
• CAEのデコーダーを用いて、潜在表現から元の解行列を再構成する。
• 順方向型ニューラルネットワーク（FFNN）を学習し、パrameter入力を解の潜在表現に直接マップする。
• FFNNとCAEデコーダーを組み合わせることで、PDEを解かずに完全な解行列を生成する。これにより、PDE解なしの推論が可能になる。
• GPUを用いたトレーニングとCPU推論を活用し、オンライン計算コストを低く抑える。

実験結果

リサーチクエスチョン

• RQ1 パrameter化された時間依存PDEに対して、非侵襲的かつデータ駆動型の代替モデルは、計算コストを著しく削減しながら高い精度を達成できるか？
• RQ2 畳み込みオートエンコーダーは、限られたFEMスナップショットから、空間的・時間的解行列をどれほど効果的に圧縮・再構成できるか？
• RQ3 パrameterから潜在空間へのFFNNのマッピングが、完全な解軌道を正確かつ高速に再構成するのにどの程度有効か？
• RQ4 大規模なモンテカルロシミュレーションにスケーリングした場合、実現可能なスピードアップと精度のトレードオフは何か？
• RQ5 本手法は、数万回のモデル評価を要する確率的PDEに効果的に適用可能か？

主な発見

• 3,0００回のモンテカルロシミュレーションにおいて、代替モデルはFEMに比べて×81.23の計算スピードアップを達成した。
• 500,000回のモンテカルロシミュレーションでは、FEMは約122日を要するが、代替モデルは40.7時間で完了し、スピードアップ比は×81.10であった。
• 500個の初期トレーニングサンプルを用いた場合、解行列の平均相対誤差は約0.03であり、データサイズの増加に伴い収束が確認された。
• 潜在ベクトルの次元数が高いほど精度が向上したことから、表現能力の重要性が示された。
• オフライントレーニングコスト（16,521秒）は、3,000回のシミュレーションにおけるFEMコスト（63,360秒）よりも顕著に低く、スケーラビリティの高さが裏付けられた。
• 本手法により、500,000回のシミュレーションで時間発展する変位の確率密度関数の計算が実現可能になった。FEM単体では不可能であった。