[論文レビュー] Solver-in-the-Loop: Learning from Differentiable Physics to Interact with Iterative PDE-Solvers

Kiwon Um, Robert Brand+4 more|arXiv (Cornell University)|Jun 30, 2020

Model Reduction and Neural Networks参考文献 76被引用数 117

ひとこと要約

本論文は、差分可能なフレームワーク内で反復PDEソルバーと相互作用するニューラル補正を学習し、複数のPDEシナリオにおける数値誤差を著しく低減し、相互作用しない方針や事前計算済み補正法を上回る。

ABSTRACT

Finding accurate solutions to partial differential equations (PDEs) is a crucial task in all scientific and engineering disciplines. It has recently been shown that machine learning methods can improve the solution accuracy by correcting for effects not captured by the discretized PDE. We target the problem of reducing numerical errors of iterative PDE solvers and compare different learning approaches for finding complex correction functions. We find that previously used learning approaches are significantly outperformed by methods that integrate the solver into the training loop and thereby allow the model to interact with the PDE during training. This provides the model with realistic input distributions that take previous corrections into account, yielding improvements in accuracy with stable rollouts of several hundred recurrent evaluation steps and surpassing even tailored supervised variants. We highlight the performance of the differentiable physics networks for a wide variety of PDEs, from non-linear advection-diffusion systems to three-dimensional Navier-Stokes flows.

研究の動機と目的

• 反復PDEソルバーにおける離散化誤差と数値誤差の低減を動機づける。
• ソルバーと相互作用できるニューラルネットワークで学習される補正関数を提案する。
• 精度と安定性の観点から、3つの訓練レジーム（NON: 相互作用なし、PRE: 事前計算済み、SOL: ソルバーをループに組み込む）を比較する。
• 2D/3D流れからポアソン問題までの一連のPDEに対して利得を実証する。
• 訓練中のlook-aheadロールアウトが長期的な精度と安定性に与える影響を評価する。

提案手法

• 補正関数 C(s|θ) を、ソルバー状態 s に補正を加えるニューラルネットワークとしてモデル化する。
• ニューラル補正を差分可能なPDEソルバー内に埋め込み、エンドツーエンド訓練（solver-in-the-loop）を可能にする。
• NON（相互作用なし）、PRE（事前計算済みの相互作用）、SOL（ソルバーをループに組み込んだ訓練 Regime）を対比する。
• 完全畳み込みネットワーク（10層、16特徴）を用い、ADAM（lr=1e-4）で訓練する。
• 補正後の軌跡と参照解とのnステップ間の平均絶対誤差で性能を評価し、look-ahead n を用いる（SOL n）。
• 対流拡散、2D/3Dナビエ–ストークス、浮力駆動流、ポアソン関連CG初期化タスクに適用する。

実験結果

リサーチクエスチョン

• RQ1 ニュートラル corrections learned inside a differentiable PDE solver outperform traditional supervised or pre-computed corrections for iterative solvers?
• RQ2 How does solver-in-the-loop training with varying look-ahead horizons affect long-term accuracy and stability across different PDEs?
• RQ3 What are the comparative benefits and limitations of NON, PRE, and SOL interaction modes in reducing numerical errors?
• RQ4 Do differentiable-physics-trained corrections generalize to out-of-distribution initial conditions and higher-dimensional flows?

主な発見

Exp.	Mean absolute error of velocity	Rel. improvement
Wake Flow	0.146 ± 0.004	0.031 ± 0.010
Buoyancy	1.590 ± 1.033	1.373 ± 0.985
Adv.-diff.	0.248 ± 0.019	0.218 ± 0.017
CG Solver	121.6 ± 13.44	-
3D Wake	0.167 ± 0.061	-

• Solver-in-the-loop corrections yield substantial accuracy gains over non-interacting and pre-computed methods.
• SOL models with longer look-ahead horizons dramatically reduce errors (e.g., up to ~60% relative improvement in some cases).
• Differentiable physics training yields improvements beyond supervised or pre-computed corrections, with stable long-horizon rollouts.
• 3D wake flows show >22% improvement in numerical accuracy using SOL corrections.
• Training cost increases but inference remains unchanged, and speedups are achieved in end-to-end simulations (e.g., 68x faster than CPU reference in one scenario).
• Corrections generalize to out-of-distribution initial conditions and improve stability for recurrent PDE solves.