[論文レビュー] Learned Coarse Models for Efficient Turbulence Simulation

Kimberly Stachenfeld, Drummond B. Fielding+8 more|arXiv (Cornell University)|Dec 31, 2021

Model Reduction and Neural Networks被引用数 24

ひとこと要約

本論文は、低解像度データ上でエンドツーエンドに訓練された単純な拡張リプルネット（Dilated ResNet）アーキテクチャを用いた学習済み粗いシミュレータを提案し、同等の解像度において古典的数値スケーラーよりも乱流動的挙動をより正確にシミュレートすることを実現した。訓練時のノイズと時間的ダウンサンプリングのチューニングにより、アスrophysicalシミュレータAthena++からの多様なカオス的・乱流的系においても、安定かつ一般化可能なロールアウトが達成され、特化型乱流モデルを上回った。

ABSTRACT

Turbulence simulation with classical numerical solvers requires high-resolution grids to accurately resolve dynamics. Here we train learned simulators at low spatial and temporal resolutions to capture turbulent dynamics generated at high resolution. We show that our proposed model can simulate turbulent dynamics more accurately than classical numerical solvers at the comparably low resolutions across various scientifically relevant metrics. Our model is trained end-to-end from data and is capable of learning a range of challenging chaotic and turbulent dynamics at low resolution, including trajectories generated by the state-of-the-art Athena++ engine. We show that our simpler, general-purpose architecture outperforms various more specialized, turbulence-specific architectures from the learned turbulence simulation literature. In general, we see that learned simulators yield unstable trajectories; however, we show that tuning training noise and temporal downsampling solves this problem. We also find that while generalization beyond the training distribution is a challenge for learned models, training noise, added loss constraints, and dataset augmentation can help. Broadly, we conclude that our learned simulator outperforms traditional solvers run on coarser grids, and emphasize that simple design choices can offer stability and robust generalization.

研究の動機と目的

• 低空間および時間解像度において乱流動的挙動を正確に捉える一般用途の学習済みシミュレータを開発すること。
• カオス的流体力学における学習済みシミュレータに一般的に見られる不安定性と一般化性能の低さを克服すること。
• 高精度な乱流流れをシミュレートする際、複雑で特化型のモデルに比べて、単純で特化していないアーキテクチャが性能を上回るかどうかを評価すること。
• 訓練時のノイズと時間的ダウンサンプリングが、モデルの安定性および一般化性能に与える影響を調査すること。
• 訓練時とは異なる初期条件、ロールアウト長、ドメインサイズに対する一般化性能を評価すること。

提案手法

• Athena++スケーラーからの高精度なシミュレーションから得た低解像度・低時間解像度のデータ上でDilated ResNet（Dil-ResNet）を訓練する。
• 物理的PDEスケーラーやドメイン特化のインダクティブバイアスを組み込まず、エンドツーエンドのデータ駆動型アプローチを採用する。
• 長時間のロールアウトにおける安定性を向上させ、発散を低減するために、訓練時にノイズ増幅を適用する。
• 訓練負荷を軽減し、より長い軌道への一般化を向上させるために、時間的ダウンサンプリングを実装する。
• グラフベースのメッセージパッシングとグリッドベースの畳み込み層を用いた標準的なエンコード・プロセス・デコードフレームワークを採用する。
• 損失制約とデータセット拡張を適用して、初期条件やシステムサイズの分布シフトに対する耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 単純で一般用途の学習済みシミュレータが、両者とも低解像度で動作する場合、古典的数値スケーラーを上回ることができるか？
• RQ2 ノイズと時間的ダウンサンプリングを用いた訓練が、カオス的乱流系における学習済みシミュレータの安定性を向上させるか？
• RQ3 学習時に観測しなかったより長い軌道やより大きな空間ドメインに対し、学習済みシミュレータの一般化性能はどの程度か？
• RQ4 特化していないアーキテクチャが、より複雑で乱流特化の学習済みモデルと同等またはそれ以上の性能を発揮できるか？
• RQ5 損失制約とデータ拡張は、学習分布外への一般化を強化するために果たす役割は何か？

主な発見

• Dil-ResNetモデルは、複数の指標において、同等の低解像度で古典的スケーラーを上回り、特に高周波数動的挙動の保持に優れた性能を示した。
• ノイズ=0.01および時間的ダウンサンプリングを用いた訓練により、長時間のロールアウトが著しく安定化し、発散が低減され、一貫性が向上した。
• モデルはKS-1D系において、最大181時間単位のより長い軌道および2π幅のより大きな空間ドメインに対しても、効果的に一般化され、重要な乱流的特徴を保持した。
• エネルギー、運動量などの保存量の誤差は時間経過に伴い境界内に保たれ、ノイズがドリフトを抑制する効果を示した。
• 損失制約を追加することで、より圧縮された初期条件に対する一般化性能が向上した一方、訓練時のノイズはより長いロールアウトにおける安定性を高めた。
• 単純なDil-ResNetアーキテクチャは、最先端のAthena++シミュレータからのベンチマークを含め、すべての評価基準でより複雑で特化型の乱流モデルを上回った。