[論文レビュー] Deep convolutional recurrent autoencoders for learning low-dimensional\n feature dynamics of fluid systems

Francisco J. González, Maciej Balajewicz|arXiv (Cornell University)|Aug 3, 2018

Model Reduction and Neural Networks被引用数 72

ひとこと要約

本論文は、畳み込みオートエンコーダで低次元の多様体を学習し、それの座標を改良されたLSTMで時間発展させる、完全データ駆動型の非線形モデル縮約フレームワークを開発し、流体力学問題に適用する。

ABSTRACT

Model reduction of high-dimensional dynamical systems alleviates\ncomputational burdens faced in various tasks from design optimization to model\npredictive control. One popular model reduction approach is based on projecting\nthe governing equations onto a subspace spanned by basis functions obtained\nfrom the compression of a dataset of solution snapshots. However, this method\nis intrusive since the projection requires access to the system operators.\nFurther, some systems may require special treatment of nonlinearities to ensure\ncomputational efficiency or additional modeling to preserve stability. In this\nwork we propose a deep learning-based strategy for nonlinear model reduction\nthat is inspired by projection-based model reduction where the idea is to\nidentify some optimal low-dimensional representation and evolve it in time. Our\napproach constructs a modular model consisting of a deep convolutional\nautoencoder and a modified LSTM network. The deep convolutional autoencoder\nreturns a low-dimensional representation in terms of coordinates on some\nexpressive nonlinear data-supporting manifold. The dynamics on this manifold\nare then modeled by the modified LSTM network in a computationally efficient\nmanner. An offline unsupervised training strategy that exploits the model\nmodularity is also developed. We demonstrate our model on three illustrative\nexamples each highlighting the model's performance in prediction tasks for\nfluid systems with large parameter-variations and its stability in long-term\nprediction.\n

研究の動機と目的

• システム演算子や侵襲的投影を必要とせず、高次元の流体系状態の最適な低次元表現を同定する。
• 畳み込みオートエンコーダと再帰ダイナミクスを組み合わせた、モジュラーでエンドツーエンド学習可能な時系列進化アーキテクチャを開発する。
• パラメータが異なる流れ問題に対して、縮約次元モデルの予測能力と安定性を示す。
• 従来の POD ベース手法よりも非線形特徴の捕らえやすさと高次元データへのスケーラビリティで利点を示す。

提案手法

• 全状態スナップショットから非線形データ支持多様体上の座標を学習する深い畳み込みオートエンコーダを用いる。
• 学習した座標の多様体上でのダイナミクスを改良されたLSTMネットワークでモデル化する。
• モデルのモジュラー性を活用するため、侵襲性のないエンドツーエンド方式でアーキテクチャをオフラインで訓練する。
• 局所的相関を活用しパラメータを削減するため、完全結合ボトネックを包む畳み込みエンコーダ／デコーダとしてオートエンコーダを構築する。
• モジュール構造を活用した効果的な学習のため、2段階の教師なし訓練戦略を提供する。
• 各ステップで全場状態を再構成することなく、縮約座標の進化を可能にすることでスケーラビリティを示す。

実験結果

リサーチクエスチョン

• RQ1 畳み込みオートエンコーダは高次元の流体状態に対して、表現力のある低次元多様体をどのように同定できるか？
• RQ2 改良されたLSTMはこの多様体上の縮約座標を効果的に進化させて将来の状態を予測できるか？
• RQ3 PODベースのROMと比較して、この手法は非線形特徴をより捉え、長期予測での安定性を維持できるか？
• RQ4 流れ問題全般における大きなパラメータ変動に対して訓練戦略は堅牢か？

主な発見

• 本モデルは大きなパラメータ変動を伴う流体系に対して予測能力を示す。
• テストケース全体で長期予測の安定性を維持する。
• 畳み込みオートエンコーダは局所相関を活用し、全結合型と比較して効率を改善する。
• 2段階の教師なし訓練戦略はモデルのモジュラー性を活用し、エンドツーエンド学習を効果的に行う。
• 本手法は非線形多様体の取り扱いとスケーラブルな計算により、PODベースモデルより優れていることを示す。
• 本フレームワークは支配方程式の演算子へのアクセスを必要とせず、ダイナミクスの学習をサポートする（非侵入）。