[論文レビュー] Model order reduction with neural networks: Application to laminar and turbulent flows

Kai Fukami, Kazuto Hasegawa+3 more|arXiv (Cornell University)|Nov 20, 2020

Model Reduction and Neural Networks参考文献 120被引用数 71

ひとこと要約

本研究では、流体力学におけるモデル順序低減のため、畳み込みニューラルネットワーク（CNNs）と多層パーセプトロン（MLPs）を組み合わせたハイブリッドオートエンコーダー（AE）の評価を行う。AEの性能が、潜在次元、活性化関数、モデルサイズといったハイパーパrameterに極めて敏感であることが示され、層流と乱流の間で最適な設定が顕著に異なることが明らかになった。これは、流体特性に応じたチューニングの重要性を示しており、複雑な流体系におけるロバストでデータ駆動型の低次元モデル化のための知見を提供する。

ABSTRACT

We investigate the capability of neural network-based model order reduction, i.e., autoencoder (AE), for fluid flows. As an example model, an AE which comprises of a convolutional neural network and multi-layer perceptrons is considered in this study. The AE model is assessed with four canonical fluid flows, namely: (1) two-dimensional cylinder wake, (2) its transient process, (3) NOAA sea surface temperature, and (4) $y-z$ sectional field of turbulent channel flow, in terms of a number of latent modes, a choice of nonlinear activation functions, and a number of weights contained in the AE model. We find that the AE models are sensitive against the choice of the aforementioned parameters depending on the target flows. Finally, we foresee the extensional applications and perspectives of machine learning based order reduction for numerical and experimental studies in fluid dynamics community.

研究の動機と目的

• 流体力学におけるオートエンコーダーに基づくモデル順序低減にあたって、潜在次元、活性化関数、重み数といった主要ハイパーパrameterの影響を体系的かつ評価すること。
• オートエンコーダー性能が、層流と乱流、および一時的動的特性を含む流体特性にどのように敏感であるかを調査すること。
• モデルの複雑さを低減するためのプルーニング法の有効性を、再構成精度を保持したまま評価すること。
• 数値的および実験的流体力学研究におけるニューラルネットワークベースの低次元モデルの実装に向けた実用的ガイドラインを提供すること。
• 複雑で高次元な流体系において、オートエンコーダーの限界と一般化可能性に関する未解決の問題に取り組むこと。

提案手法

• 空間的特徴抽出に畳み込みニューラルネットワーク（CNNs）を、潜在空間の圧縮と再構成に多層パーセプトロン（MLPs）を組み合わせたハイブリッドオートエンコーダーのアーキテクチャを採用する。
• CNNは、学習可能なフィルタとプーリング操作を用いて、高次元の流れ場を低次元の潜在空間に符号化し、その後、全結合層による次元削減を実施する。
• デコーダーは、逆畳み込み（トランスポジットコンボリューション）とアップサンプリング層を用いて、潜在表現から元の流れ場を再構成する。
• モデルは、入力と再構成された流れ場の間の平均二乗誤差（MSE）損失を用いて、エンドツーエンドで訓練される。
• ハイパーパrameterの感度は、4つの代表的な流体流れデータセット（2次元シリンダーウェーク、一時的流れ、NOAA SST、乱流チャネル流れ）を用いて評価される。
• プルーニングは、スパarsityの閾値を設定して重要度の低い重みを削除し、その後再び再構成誤差を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる流れタイプにおけるオートエンコーダーに基づく低次元モデルの再構成精度と一般化性能に、潜在モードの数がどのように影響を与えるか？
• RQ2 異なる非線形活性化関数（例：ReLU、ELU、SELU）が、層流と乱流の両状態においてオートエンコーダーの性能と安定性に与える影響は何か？
• RQ3 モデルサイズ（重み数）が、学習ダイナミクス、再構成誤差、一般化能力に与える影響は何か？
• RQ4 プルーニングは、再構成品質を損なわずにパラメータ数を効果的に削減できるか？また、流れの状態に応じてその効果はどのように変化するか？
• RQ5 オートエンコーダーが、層流や一時的流れと比較して、複雑な乱流の動的挙動を表現する上で内蔵する根本的な限界は何か？

主な発見

• 再構成の正確さに必要な潜在モードの数は、流れの複雑さに大きく依存する。層流（例：シリンダーウェーク）では、乱流や一時的流れに比べて少ないモードで十分である。
• 活性化関数の選択は、再構成精度に強く、流れに依存する影響を与える。ほとんどの場合、ReLUとELUが優れた性能を示したが、SELUは乱流流れの再構成で不安定性を引き起こした。
• 乱流流れで訓練されたAEは、層流流れと比較して、ネットワーク全体にわたり重みの大きさがより一様に分布していることが示され、学習ダイナミクスが異なることを示唆している。
• 最も重要でない重みを10〜20％までプルーニングしても、再構成誤差（L2ノルム）が低く保たれるため、精度を著しく損なわずモデル圧縮が可能である。
• NOAA海水表面温度データセットの再構成誤差は、層流と乱流のケースの間の中間的挙動を示し、その中間的な複雑さを反映している。
• 本研究では、あらゆる状況で最適なAE設定が存在しないことが確認された。ハイパーパrameterの選定は、特に高次元の乱流系において、流体の特性に合わせてカスタマイズされるべきである。