[論文レビュー] Learning to Accelerate Partial Differential Equations via Latent Global Evolution

Tailin Wu, Takashi Maruyama+1 more|arXiv (Cornell University)|Jun 15, 2022

Model Reduction and Neural Networks被引用数 14

ひとこと要約

LE-PDE は偏微分方程式（PDE）のシミュレーションと逆最適化を、PDE 状態とダイナミクスのコン pact でグローバルな潜在表現を学習し、完全に潜在空間内でダイナミクスを進化させることで高速化する。最大で 128× の状態次元低減と、ベースライン比 15× の高速化を達成しながら、競争力のある精度とノイズ耐性を維持する。

ABSTRACT

Simulating the time evolution of Partial Differential Equations (PDEs) of large-scale systems is crucial in many scientific and engineering domains such as fluid dynamics, weather forecasting and their inverse optimization problems. However, both classical solvers and recent deep learning-based surrogate models are typically extremely computationally intensive, because of their local evolution: they need to update the state of each discretized cell at each time step during inference. Here we develop Latent Evolution of PDEs (LE-PDE), a simple, fast and scalable method to accelerate the simulation and inverse optimization of PDEs. LE-PDE learns a compact, global representation of the system and efficiently evolves it fully in the latent space with learned latent evolution models. LE-PDE achieves speed-up by having a much smaller latent dimension to update during long rollout as compared to updating in the input space. We introduce new learning objectives to effectively learn such latent dynamics to ensure long-term stability. We further introduce techniques for speeding-up inverse optimization of boundary conditions for PDEs via backpropagation through time in latent space, and an annealing technique to address the non-differentiability and sparse interaction of boundary conditions. We test our method in a 1D benchmark of nonlinear PDEs, 2D Navier-Stokes flows into turbulent phase and an inverse optimization of boundary conditions in 2D Navier-Stokes flow. Compared to state-of-the-art deep learning-based surrogate models and other strong baselines, we demonstrate up to 128x reduction in the dimensions to update, and up to 15x improvement in speed, while achieving competitive accuracy.

研究の動機と目的

• 古典的スケーラーとディープラーニング代替モデルの両方で、メesh 分解能の向上に伴いスケーリングが著しく悪化する大規模 PDE シミュレーションの高コストを解消すること。
• 既存のディープラーニングモデルが各セルを個別に更新するローカルな進化に起因する制限を克服すること。
• グローバルかつ低次元の潜在ダイナミクスを学習することで、長時間スパンの PDE シミュレーションと逆最適化を効率的に行えるようにすること。
• 非微分可能境界条件に対処するための新しい学習目的とアナーリング技術を用いて、潜在ダイナミクスの長期的安定性と正確性を保証すること。

提案手法

• 入力 PDE 状態を低次元潜在ベクトルに圧縮する動的エンコーダと、境界条件とパラメータを符号化する静的エンコーダを学習する。
• 潜在空間内で完全に動作する学習済みの潜在ダイナミクスモデルを用いて、潜在状態を進化させる。これにより、セルごとの更新を回避する。
• 潜在空間内での長期予測の安定化を図るために、マルチステップ潜在一貫性目的関数を導入し、同時に入力空間におけるマルチステップ再構成損失を組み合わせる。
• 逆最適化のための潜在空間内での時間軸に沿ったバックプロパゲーションを可能にし、境界条件のパrameterチューニングを顕著に高速化する。
• 非微分可能で疎な相互作用を伴う逆最適化の過程で、境界マスクにアナーリング技術を適用する。
• 潜在空間および入力空間の両方で再構成精度と長期的進化忠実度の両方を最適化するため、再構成損失と進化忠実度損失を統合的に最適化するエンドツーエンドの学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 グローバルかつ低次元の潜在表現は、複雑な PDE システムの本質的ダイナミクスを捉えることができるか？ また、セル単位の更新手法よりも高速なシミュレーションが可能になるか？
• RQ2 混沌としたまたは乱流的な PDE レジームにおいて、潜在ダイナミクスをどのように学習すれば長期的安定性と正確性を確保できるか？
• RQ3 潜在空間内で時間軸に沿ったバックプロパゲーションを用いることで、PDE パrameter（例：境界条件）の逆最適化はどの程度高速化できるか？
• RQ4 実世界のデータにおける観測ノイズに対して、潜在進化モデルはどの程度耐性を示すか？ 特に真値が汚染された状態でも有効か？
• RQ5 自己符号化器とダイナミクス部の同時学習は、PDE モデリングにおいて、事前学習ベースのデータ圧縮手法を上回る性能を発揮するか？

主な発見

• LE-PDE は、長時間スパンのロールアウトにおいて、更新すべき状態変数の数を最大で 128× 減少させ、計算コストを顕著に低減した。
• 強力なベースラインと比較して、1D および 2D PDE ベンチマークにおいて、予測精度に競争力を持たせつつ、推論速度を最大で 15× 向上させた。
• LE-PDE はノイズに対して強く、1D バーガーズ方程式ではノイズ振幅が 10⁻³ まででも累積誤差が 1.456 未満に保たれ、10⁻² でも 2.612 未満にとどまる。
• 2D ナビエ-ストークスの場合、ノイズ振幅が 0.1 に達しても累積誤差はわずかに増加する（0.1861 → 0.2012）ため、状態範囲の 2.5% までのノイズレベルに対しても耐性があることが示された。
• 自己符号化器や VAE を事前学習してからダイナミクスを学習する方法は、著しく性能が劣る（例：1D では 1.952 対 1.127）。これは、同時学習の必要性を裏付けている。
• 確率的ノイズが導入される VAE ベースのエンコーダは、決定的 PDE ダイナミクスには不適切であるため、自己符号化器に比べて性能が劣る。