[論文レビュー] Stable a posteriori LES of 2D turbulence using convolutional neural networks: Backscattering analysis and generalization to higher Re via transfer learning

Yifei Guan, Ashesh Chattopadhyay+2 more|arXiv (Cornell University)|Feb 22, 2021

Fluid Dynamics and Turbulent Flows被引用数 14

ひとこと要約

本論文は、高精度な直接数値シミュレーション（DNS）データからサブグリッドスケール（SGS）駆動項を学習することで、安定的かつ高精度なシミュレーションを実現する、2次元の崩壊済み乱流に対する深層畳み込みニューラルネットワーク（CNN）ベースの事後的大渦シミュレーション（LES）モデルを提案する。この手法は、わずか1%の新しい流れデータを用いたトランスファー学習により、訓練データが少ない場合に生じるバックスキャッタリングの捕捉不良に起因する不安定性を克服し、16倍高いレイノルズ数の流れへ一般化できる。

ABSTRACT

There is a growing interest in developing data-driven subgrid-scale (SGS) models for large-eddy simulation (LES) using machine learning (ML). In a priori (offline) tests, some recent studies have found ML-based data-driven SGS models that are trained on high-fidelity data (e.g., from direct numerical simulation, DNS) to outperform baseline physics-based models and accurately capture the inter-scale transfers, both forward (diffusion) and backscatter. While promising, instabilities in a posteriori (online) tests and inabilities to generalize to a different flow (e.g., with a higher Reynolds number, Re) remain as major obstacles in broadening the applications of such data-driven SGS models. For example, many of the same aforementioned studies have found instabilities that required often ad-hoc remedies to stabilize the LES at the expense of reducing accuracy. Here, using 2D decaying turbulence as the testbed, we show that deep fully convolutional neural networks (CNNs) can accurately predict the SGS forcing terms and the inter-scale transfers in a priori tests, and if trained with enough samples, lead to stable and accurate a posteriori LES-CNN. Further analysis attributes these instabilities to the disproportionally lower accuracy of the CNNs in capturing backscattering when the training set is small. We also show that transfer learning, which involves re-training the CNN with a small amount of data (e.g., 1%) from the new flow, enables accurate and stable a posteriori LES-CNN for flows with 16x higher Re (as well as higher grid resolution if needed). These results show the promise of CNNs with transfer learning to provide stable, accurate, and generalizable LES for practical use.

研究の動機と目的

• 深層学習を用いたデータ駆動型SGSモデルの開発を目的とし、LESにおいて安定的で正確かつ一般化可能なモデルを実現すること。
• 限られたデータで訓練されたデータ駆動型SGSモデルを用いた事後的LESにおける不安定性の解決。
• 事後的シミュレーション中に生じる数値的不安定性の原因としてのバックスキャッタリングの正確さの役割の解明。
• 最小限の追加データで、トランスファー学習を用いて高レイノルズ数の流れへの一般化を可能にすること。
• 事前モデルの精度と事後シミュレーションの安定性との間の関係を確立すること。

提案手法

• 完全畳み込みニューラルネットワーク（CNN）を、DNSスナップショット上で事前的に訓練し、解像化された流れ場からSGS駆動項を予測する。
• 予測されたSGS項と真のSGS項の差を最小化することで、前向およびバックスキャッタリングを含むスケール間エネルギー移動をCNNが学習する。
• バックスキャッタリングを十分に正確に捉えるために十分な訓練データを提供することで、事後的LESにおける安定性を達成する。
• トランスファー学習を適用する際には、新しい高レイノルズ数の流れから1%のデータセットを用いて、事前に学習済みのCNNを微調整することで、完全な再訓練なしにモデルを適応させる。
• 同じアーキテクチャと損失関数を用いながら、新しい流れの統計的特性とスケールに適応させるために、最終層のみをファインチューニングする。
• 本フレームワークは、同じグリッド解像度と初期条件を用いて、訓練セットよりも16倍高いレイノルズ数の2次元の崩壊済み乱流で検証された。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型CNNベースのSGSモデルは、2次元の崩壊済み乱流において、安定的かつ高精度な事後的LESを達成できるか？
• RQ2 限られたデータセットで訓練されたデータ駆動型SGSモデルを用いた場合、事後的LESで生じる不安定性の原因は何か？
• RQ3 バックスキャッタリング予測の正確さとシミュレーションの安定性との関係は何か？
• RQ4 トランスファー学習を用いることで、最小限の追加データで高レイノルズ数の流れに対する正確で安定したLESを実現できるか？
• RQ5 CNNをある流れで訓練した場合、顕著に異なる流れの状態（例：16倍高いRe）へどの程度一般化できるか？

主な発見

• 十分なデータで訓練された場合、CNNモデルは事前テストにおいてSGS駆動項およびスケール間エネルギー移動を高い精度で予測する。
• 事後的LESにおける不安定性は、訓練データが限られている場合にバックスキャッタリングの予測が不十分であることに起因する。
• 適切な訓練データを用いることで、CNNベースのLESは長時間にわたって安定的かつ正確に保たれる。
• トランスファー学習により、新しい流れのデータの1%のみを用いても、16倍高いレイノルズ数の流れに対して安定的かつ正確な事後的LESが実現できる。
• 再訓練を一切行わずに、高レイノルズ数の流れへの一般化が効果的に可能であり、強力な転送性を示している。
• 本研究では、バックスキャッタリングの正確さと事後的安定性との直接的な関係を確立し、堅牢なデータ駆動型LESへの道筋を示した。