[論文レビュー] Deep convolutional recurrent autoencoders for learning low-dimensional feature dynamics of fluid systems

Francisco Javier González, Maciej Balajewicz|arXiv (Cornell University)|Aug 3, 2018

Model Reduction and Neural Networks参考文献 8被引用数 79

ひとこと要約

データ駆動のエンドツーエンド深層学習フレームワークは、深層畳み込み自己エンコーダと改良LSTMを組み合わせて、高次元の流体系の低次元特徴表現を学習・進化させ、支配方程式に依存せずに。

ABSTRACT

Model reduction of high-dimensional dynamical systems alleviates computational burdens faced in various tasks from design optimization to model predictive control. One popular model reduction approach is based on projecting the governing equations onto a subspace spanned by basis functions obtained from the compression of a dataset of solution snapshots. However, this method is intrusive since the projection requires access to the system operators. Further, some systems may require special treatment of nonlinearities to ensure computational efficiency or additional modeling to preserve stability. In this work we propose a deep learning-based strategy for nonlinear model reduction that is inspired by projection-based model reduction where the idea is to identify some optimal low-dimensional representation and evolve it in time. Our approach constructs a modular model consisting of a deep convolutional autoencoder and a modified LSTM network. The deep convolutional autoencoder returns a low-dimensional representation in terms of coordinates on some expressive nonlinear data-supporting manifold. The dynamics on this manifold are then modeled by the modified LSTM network in a computationally efficient manner. An offline unsupervised training strategy that exploits the model modularity is also developed. We demonstrate our model on three illustrative examples each highlighting the model's performance in prediction tasks for fluid systems with large parameter-variations and its stability in long-term prediction.

研究の動機と目的

• 畳み込み自己エンコーダを用いて、高次元の流体系状態の最適な低次元多様体を同定する。
• 学習された低次元特徴の時系列変化を再帰型ニューラルネットワークでモデル化する。
• 効率的な学習のためにモデルのモジュラリティを活用したオフラインの教師なし学習戦略を提供する。
• 大きなパラメータ変動を伴う流体力学問題に対して安定性と予測性能を示す。

提案手法

• 全状態スナップショットから非線形データ支持多様体上の座標を学習するために深層畳み込み自己エンコーダを用いる。
• 学習された多様体上の低次元特徴のダイナミクスをモデル化するために改良されたLSTMネットワークを用いる。
• 自己エンコーダと時系列ダイナミクスモデルをオフラインで教師なし方式でエンドツーエンド訓練する。
• 畳み込み構造を活用して局所的な相関をとらえ、全結合エンコーダと比較してパラメータを削減する。
• 現在の縮約状態を用いてLSTMを漸進的に訓練する2段階の訓練戦略を活用する。

実験結果

リサーチクエスチョン

• RQ1 支配方程式にアクセスできない状態で、畳み込み自己エンコーダは高次元の流体状態に対して表現力のある低次元多様体を特定できるか。
• RQ2 パラメータが変動する流体問題に対して、改良されたLSTMは学習済みの低次元特徴を時間発展させることが正確にできるか。
• RQ3 提案されたモジュール式のエンドツーエンドアーキテクチャは、従来のROMアプローチと比べて安定性と長期予測性能を改善するか。
• RQ4 流体力学アプリケーションにおける大きなパラメータ変動を方法はどのように扱うか。

主な発見

• 本手法は、畳み込み自己エンコーダとLSTMを組み合わせて、縮約座標を学習・進化させるデータ駆動型の非線形モデル削減を提供する。
• 畳み込み構造は、局所相関と重み共有を活用することで高次元の流体データのスケーラブルな取り扱いを可能にする。
• 2段階の教師なし訓練戦略とエンドツーエンド訓練は、モジュラリティを活用して縮約表現とそのダイナミクスを訓練する。
• 3つの流体力学の例でのデモは、長期予測と大きなパラメータ変動下での効果的な予測と安定性を示している。
• この手法は非侵襲的で、データのみを必要とし、支配演算子へのアクセスは不要である。