[論文レビュー] Learning Controllable Adaptive Simulation for Multi-resolution Physics

Tailin Wu, Takashi Maruyama+3 more|arXiv (Cornell University)|May 1, 2023

Scientific Computing and Data Management被引用数 4

ひとこと要約

LAMP は、グラフニューラルネットワークと強化学習を用いて、物理的システムの進化と、適応的空間分解能の細分化・粗化方策を同時に学習する深層学習ベースの surrogate モデルです。1次元非線形 PDE において長期間予測誤差を 33.7% 減少させ、計算負荷と誤差のバランスを取った動的計算割り当てにより、2次元メッシュベースのシミュレーションで最先端手法を上回ります。

ABSTRACT

Simulating the time evolution of physical systems is pivotal in many scientific and engineering problems. An open challenge in simulating such systems is their multi-resolution dynamics: a small fraction of the system is extremely dynamic, and requires very fine-grained resolution, while a majority of the system is changing slowly and can be modeled by coarser spatial scales. Typical learning-based surrogate models use a uniform spatial scale, which needs to resolve to the finest required scale and can waste a huge compute to achieve required accuracy. In this work, we introduce Learning controllable Adaptive simulation for Multi-resolution Physics (LAMP) as the first full deep learning-based surrogate model that jointly learns the evolution model and optimizes appropriate spatial resolutions that devote more compute to the highly dynamic regions. LAMP consists of a Graph Neural Network (GNN) for learning the forward evolution, and a GNN-based actor-critic for learning the policy of spatial refinement and coarsening. We introduce learning techniques that optimizes LAMP with weighted sum of error and computational cost as objective, allowing LAMP to adapt to varying relative importance of error vs. computation tradeoff at inference time. We evaluate our method in a 1D benchmark of nonlinear PDEs and a challenging 2D mesh-based simulation. We demonstrate that our LAMP outperforms state-of-the-art deep learning surrogate models, and can adaptively trade-off computation to improve long-term prediction error: it achieves an average of 33.7% error reduction for 1D nonlinear PDEs, and outperforms MeshGraphNets + classical Adaptive Mesh Refinement (AMR) in 2D mesh-based simulations. Project website with data and code can be found at: http://snap.stanford.edu/lamp.

研究の動機と目的

• 高分解能が必要な領域が僅かであるがために、マルチスケール物理的システムをシミュレートする課題に対処すること。
• 均一な分解能を持つ深層学習 surrogate モデルが、遅い領域では計算を無駄にし、動的領域を十分に解像できないという非効率性を克服すること。
• 進化モデルと空間分解能の適応的変更を同時に最適化する、完全に微分可能なエンドツーエンドの深層学習フレームワークの開発。
• 推論時に学習可能な方策を用いて、予測誤差と計算コストの間で動的トレードオフを実現すること。
• 長期間のシミュレーション精度において、最先端の surrogate モデルおよび古典的な適応的メッシュ細分化を上回る優れた性能を示すこと。

提案手法

• LAMP は、動的メッシュ上での物理的システムの前向き進化を学習するためのグラフニューラルネットワーク（GNN）を用いる。
• 局所的なメッシュ細分化および粗化の離散的方策を学習するために、GNN を用いたアクタ・クリティック強化学習フレームワークを採用する。
• 方策は局所状態特徴と、誤差と計算コストのトレードオフを制御するハイパーパrameter β に条件付けられる。
• システムは交互最適化により訓練される：進化モデルには教師あり学習、方策には強化学習を適用する。
• 報酬関数は、複数ステップのロールアウトにおける誤差低減と計算コスト低減の重み付き和として定義される。
• リメッシュは、方策出力に基づいてエッジを選択し、時間ステップ間で一貫性を保つために補間処理を伴って実行される。

Figure 1: LAMP schematic. The forward iteration (upper box) first uses the policy $f_{\varphi}^{\text{policy}}$ to decide the number $K^{\text{re}}$ and $K^{\text{co}}$ of edges as well as which edges among the full mesh to be refined or coarsened, and then executes remeshing and interpolation. The

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの surrogate モデルは、物理的システムの進化と、適応的空間分解能選択を同時に学習できるか？
• RQ2 このようなモデルは、長期間の予測誤差を低減させながら、計算リソースを高動的領域に動的に割り当てられるか？
• RQ3 複雑なシミュレーションにおいて、学習されたリメッシュ方策の性能は、ヒューリスティック的または真値のリメッシュと比べてどうか？
• RQ4 推論時に、精度と計算コストの間のさまざまなトレードオフに、モデルはどの程度適応できるか？
• RQ5 同じ PDE の家族に属する異なる物理的システムに、モデルは一般化できるか？

主な発見

• LAMP は、1次元非線形 PDE ベンチマークにおいて、最先端の深層学習 surrogate モデルと比較して、長期間予測誤差を 33.7% 減少させた。
• 2次元ペーパーフォールディングシミュレーションでは、LAMP は誤差（MSE 5.80e-4）を、メッシュグラフネットス＋ヒューリスティックリメッシュベースライン（MSE 6.38e-4）およびリメッシュなしアブレーション（MSE 6.13e-4）の両方を下回った。
• LAMP は真値リメッシュを用いた強力なベースラインをも上回り、学習されたリメッシュ方策を用いながらも、より高い精度を達成した。
• モデルは、視覚化された2次元シミュレーションから、高曲率領域（例：折りたたみ部分）を適切に細分化し、平坦で変化の遅い領域を粗くしていることが確認された。
• LAMP は高い精度を達成しながらも、平均頂点数を 123.1 に抑え、計算の効率性を示した。
• 推論時にさまざまな β 値に対して、モデルは頑健に適応可能であり、誤差と計算コストの間で動的トレードオフを実現した。

Figure 2: Example rollout result of our LAMP on 1D nonlinear PDEs. The rollout is performed over 200 time steps, where different color denotes the system’s state at different time. On each state, we also plot the corresponding mesh as black dots. The upper green and lower blue band shows the added a