[論文レビュー] Learning to correct spectral methods for simulating turbulent flows

Gideon Dresdner, Dmitrii Kochkov+5 more|arXiv (Cornell University)|Jul 1, 2022

Model Reduction and Neural Networks被引用数 15

ひとこと要約

本稿では、乱流乱流のシミュレーションのためのハイブリッド機械学習–スペクトル法を提案する。ニューラルネットワークが低分解能スペクトルシミュレーションの誤差を学習することで補正を行う。同じ分解能において、標準的なスペクトルソルバーに比べて精度が2–4倍向上し、速度に基づく状態表現と一次時間積分法が、学習の安定性と一般化性能を高める上で重要である。

ABSTRACT

Despite their ubiquity throughout science and engineering, only a handful of partial differential equations (PDEs) have analytical, or closed-form solutions. This motivates a vast amount of classical work on numerical simulation of PDEs and more recently, a whirlwind of research into data-driven techniques leveraging machine learning (ML). A recent line of work indicates that a hybrid of classical numerical techniques and machine learning can offer significant improvements over either approach alone. In this work, we show that the choice of the numerical scheme is crucial when incorporating physics-based priors. We build upon Fourier-based spectral methods, which are known to be more efficient than other numerical schemes for simulating PDEs with smooth and periodic solutions. Specifically, we develop ML-augmented spectral solvers for three common PDEs of fluid dynamics. Our models are more accurate (2-4x) than standard spectral solvers at the same resolution but have longer overall runtimes (~2x), due to the additional runtime cost of the neural network component. We also demonstrate a handful of key design principles for combining machine learning and numerical methods for solving PDEs.

研究の動機と目的

• 高分解能データを用いた乱流PDEのシミュレーションにおいて、計算コストと精度のトレードオフを扱う。
• 滑らかで周期的問題において高い精度を示す古典的スペクトルソルバーを、ニューラルネットワークによるサブグリッド補正を学習することで改善する。
• ハイブリッドML–数値法の設計選択が、流体力学的PDEにおける学習の安定性、一般化、性能に与える影響を調査する。
• 1次元および2次元の乱流流れベンチマークにおいて、ハイブリッドモデルと純粋なML代替モデル、標準的なスペクトルソルバーを比較する。
• PDEシミュレーションに特化したハイブリッドモデルおよび純粋なMLモデルの両方の性能を向上させる、重要なモデリング原則を同定する。特に、長時間の軌道予測において顕著である。

提案手法

• 滑らかで周期的な解に対して高い精度を示すため、ベースソルバーとしてフーリエ基底のスペクトル法を用いる。
• 高精度なシミュレーションデータを用いて、ニューラルネットワークがスペクトルソルバーの低分解能解に対する補正を予測するように学習する。
• 各タイムステップで学習された補正をサブグリッドスケール補正として適用し、スペクトル法の物理的構造を保持する。
• 渦度ではなく速度に基づく状態表現を用いることで、モデルの安定性と一般化性能が向上する。
• 学習感度を高め、高次数の方法で見られる不安定性を回避するために、一次ルンゲクッタ時間積分を採用する。
• 速度と渦度の成分を分離するスプリット演算子アーキテクチャを実装することで、学習ダイナミクスを改善し、過学習を低減する。

実験結果

リサーチクエスチョン

• RQ1 学習された補正は、物理的一致性を損なわずに、スペクトルソルバーの乱流流れに対する精度を顕著に向上させることができるか？
• RQ2 速度と渦度という異なる状態表現が、ハイブリッドML–スペクトルモデルの性能と学習安定性に与える影響は何か？
• RQ3 時間積分スキームの選択（例：一次 vs. 高次ルンゲクッタ）が、PDE補正のための深層ニューラルネットワークの学習に果たす役割は何か？
• RQ4 ハイブリッドモデルは、純粋なML代替モデルと比較して、長時間にわたるアンロールされた軌道にどの程度一般化できるか？
• RQ5 ハイブリッドML–スペクトル法は、古典的スペクトルソルバーに比べて計算の高速化を達成できるか、それとも追加のML推論コストが致命的になるか？

主な発見

• ハイブリッドML補強スペクトルソルバーは、同じ分解能において標準的なスペクトルソルバーに比べて2–4倍の精度向上を示し、学習された補正の有効性を実証している。
• 速度に基づく状態表現を用いたモデルは、渦度を用いたモデルを上回り、物理的変数の選択が学習の安定性と一般化性能に極めて重要であることを示している。
• 一次時間積分法は、高次ルンゲクッタ法に比べてはるかに安定した学習をもたらし、勾配不安定性とハイパーパrameterへの感受性が顕著に低いことが判明した。
• ハイブリッドモデルは1024タイムステップで2000の二乗誤差に到達するまでに3600回の学習ステップで十分であるのに対し、最良の純粋なMLモデルでは164,600ステップを要し、計算コストが4.4倍低減された。
• 純粋なMLモデルは短い軌道に対してより重度の過学習を示し、一部のモデルでは30,000ステップを超えると長時間相関が急激に低下し、記憶化行動が顕著に見られた。
• 2倍の分解能の低下にもかかわらず、ニューラルネットワーク補正は約10倍の実行時間オーバーヘッドを追加し、計算の高速化は制限される。したがって、滑らかで周期的な2次元乱流では、ハイブリッドモデルに顕著な速度優位性はない。