[論文レビュー] A data driven reduced order model of fluid flow by Auto-Encoder and self-attention deep learning methods

Rui Fu, Dunhui Xiao+2 more|arXiv (Cornell University)|Sep 5, 2021

Model Reduction and Neural Networks参考文献 47被引用数 14

ひとこと要約

本稿では、非線形次元削減にスタックドオートエンコーダー（SAE）を用い、潜在空間における時間的ダイナミクスを自己注意ネットワークで予測するデータ駆動型非侵襲的低次元モデル（DDROM）を提案する。本手法は、従来の特異値分解（POD）に基づくROMよりも高い精度を達成し、フルオーダーモデルよりも100倍以上の高速化を実現し、シリンダーウェークやロックエクスチェンジ問題といった複雑な流れにおいても非線形表現が向上する。

ABSTRACT

This paper presents a new data-driven non-intrusive reduced-order model(NIROM) that outperforms the traditional Proper orthogonal decomposition (POD) based reducedorder model. This is achieved by using Auto-Encoder(AE) and attention-based deep learning methods. The novelty of the present work lies in that it uses Stacked AutoEncoder(SAE) network to project original high-dimensional dynamical systems onto a low dimensional nonlinear subspace and predict the fluid dynamics using an attentionbased deep learning method. A new model reduction neural network architecture for fluid flow problem is presented. The SAE network compresses high-dimensional physical information into several much smaller sized representations in a latent space. These representations are expressed by a number of codes in the middle layer of SAE neural network. Then, those codes at different time levels are trained to construct a set of hyper-surfaces with multi variable response functions using attention-based deep learning methods. The inputs of the attention-based network are previous time levels' codes and the outputs of the network are current time levels' codes. The codes at current time level are then projected back to the original full space by the decoder layers in the SAE network. The capability of this data-driven reduced order model (DDROM) is illustrated numerically by two test cases: flow past a cylinder, and a lock exchange, respectively. The results obtained show that the DDROM performs better in terms of accuracy than the popular model reduction method namely proper orthogonal decomposition. The improvement is assessed by comparison with a high fidelity POD model.

研究の動機と目的

• 従来の特異値分解（POD）に基づく低次元モデル（ROM）が線形の試行部分空間に制限を受けるため、非線形流体力学における精度と効率が制限される問題を克服すること。
• 従来の手法よりも優れた非線形流体挙動を効果的に捉えることができる、データ駆動型で非侵襲的な低次元モデリングフレームワークを構築すること。
• 特にスタックドオートエンコーダー（SAE）と自己注意ネットワークを統合した一貫したアーキテクチャを構築し、効率的かつ高精度な流体流れ予測を実現すること。
• ベンチマークとしての流体流れ問題において、提案されたDDROMがPOD-ROMを上回る精度と計算効率を示すことを実証すること。
• 今後の応用として、都市流体、洪水、海洋モデリングなどのパラメトリックおよび大規模問題への拡張を可能にすること。

提案手法

• スタックドオートエンコーダー（SAE）を用いて、高次元の流体流れデータを低次元の潜在空間に圧縮し、中間層がデータを削減された「コード」の集合で表現する。
• 高精度なシミュレーションのスナップショットデータを用いて、フルオーダー解空間の非線形多様体を学習する非教師あり学習でSAEを訓練する。
• 自己注意ディープラーニングネットワークを訓練し、直前のタイムステップの潜在コードに基づいて現在のタイムステップの潜在コードを予測することで、学習された注意重みを用いて時間的依存性をモデル化する。
• 予測された潜在コードは、SAEのデコーダーネットワークを用いてフルオーダースペースに復元され、フル流れ場が再構成される。
• 全フレームワークは非侵襲的である：フルオーダーモデルは変更されず、学習には高精度なシミュレーションからのみデータが使用される。
• 本手法はFluidity有限要素フレームワーク内に実装され、2つのベンチマーク問題（シリンダーフローとロックエクスチェンジフロー）で検証された。

実験結果

リサーチクエスチョン

• RQ1 SAEと自己注意を用いたデータ駆動型低次元モデルは、非線形流体流れ問題において、従来のPODベースROMを上回る精度を達成できるか？
• RQ2 SAEによる非線形多様体学習は、線形POD部分空間と比較して、複雑な流体ダイナミクスの表現をどの程度向上させるか？
• RQ3 自己注意メカニズムは、標準的なRNNやフィードフォワードネットワークと比較して、潜在空間における時間的予測精度をどの程度向上させるか？
• RQ4 提案されたDDROMは、高精度なフルオーダーモデルおよびPOD-ROMと比較して、どの程度の計算効率の向上を達成するか？
• RQ5 本フレームワークは、パラメトリック設定下での初期条件および境界条件の変化を処理するために拡張可能か？

主な発見

• SAEベースのDDROMは、特にシリンダーフローにおける渦の剥離や複雑な流れ構造の捉え込みにおいて、POD-ROMと比較して顕著に低い平均二乗誤差（RMSE）と高い相関係数を達成した。
• シリンダーフローのケースでは、6つの潜在コードを用いたDDROMが、6つの基底関数を用いたPOD-ROMと比較して20％低いRMSEを達成し、優れた精度を示した。
• DDROMのオンライン予測コストは1タイムステップあたり3.0×10⁻²秒であり、フルオーダーモデルの2.5秒と比較して80倍以上の高速化が達成された。
• SAEの学習時間は約277–364秒、自己注意の学習時間は182–446秒であり、両者ともオフラインで実施され、オンライン推論で再利用された。
• ロックエクスチェンジケースでは、6コードのDDROMがフルオーダーモデルに対して100倍以上の高速化を達成し、高精度なシミュレーション結果と同等の精度を示した。
• 本手法は、SAEが提供する非線形部分空間表現のおかげで、両ベンチマークケースにおいて非線形ダイナミクス（一時的およびカオス的挙動を含む）を効果的に捉えた。