[論文レビュー] Swarm Reinforcement Learning For Adaptive Mesh Refinement

Niklas Freymuth, Philipp Dahlinger+4 more|arXiv (Cornell University)|Apr 3, 2023

Model-Driven Software Engineering Techniques被引用数 9

ひとこと要約

ASMRは各メッシュ要素をスワーム強化学習フレームワークのエージェントとして扱い、エージェントごとの報酬とグラフニューラルポリシーで静的メッシュを効率的に改良し、均一法やヒューリスティック法に比べて大幅な速度向上と高品質な改良を実現し、オラクルレベルの精度に近づく。

ABSTRACT

Adaptive Mesh Refinement (AMR) enhances the Finite Element Method, an important technique for simulating complex problems in engineering, by dynamically refining mesh regions, enabling a favorable trade-off between computational speed and simulation accuracy. Classical methods for AMR depend on heuristics or expensive error estimators, hindering their use for complex simulations. Recent learning-based AMR methods tackle these issues, but so far scale only to simple toy examples. We formulate AMR as a novel Adaptive Swarm Markov Decision Process in which a mesh is modeled as a system of simple collaborating agents that may split into multiple new agents. This framework allows for a spatial reward formulation that simplifies the credit assignment problem, which we combine with Message Passing Networks to propagate information between neighboring mesh elements. We experimentally validate our approach, Adaptive Swarm Mesh Refinement (ASMR), on challenging refinement tasks. Our approach learns reliable and efficient refinement strategies that can robustly generalize to different domains during inference. Additionally, it achieves a speedup of up to $2$ orders of magnitude compared to uniform refinements in more demanding simulations. We outperform learned baselines and heuristics, achieving a refinement quality that is on par with costly error-based oracle AMR strategies.

研究の動機と目的

• FEMシミュレーションの速度-精度トレードオフを改善する学習問題として適応メッシュ細分化（AMR）を動機づける。
• エージェントごとの報酬とエージェント分割を取り入れたスケーラブルなスワームRL定式化を開発し、変化するメッシュ粒度に対応する。
• メッセージパッシングネットワークを活用してメッシュ要素間の情報伝搬を行い、空間的クレジット割当を可能にする。

提案手法

• Agent数の変化とエージェントごとの報酬を持つ適応スワームマルコフ決定過程（ASMDP）を定式化する。
• メッシュ要素を観測グラフのノードとして表現し、ポリシーπ(a|GΩt)をグラフニューラルネットワークとして実装する。
• 誤差削減と追加要素のバランスを取る新規局所的な面積加重報酬r(Ωti)を定義する（αペナルティ付き）。
• ノードとエッジの特徴を持つ観測グラフGΩtを用いて、置換不変・スケーラブルなポリシーを可能にする。
• 静的PDEタスクのスイートでPPOまたはDQNを用いて訓練し、RLベースラインおよび誤差ベースのヒューリスティックと比較する。

実験結果

リサーチクエスチョン

• RQ1 ASMRスケールのAMRを thousandsの要素を持つ静的メッシュに適用して、改良品質を維持できるか。
• RQ2 空間的なエージェントごとの報酬はクレジット割当とパフォーマンスを改善するか。
• RQ3 ASMRはオラクルベースおよび標準ヒューリスティックと比較して精度と実行時間の点でどうか。
• RQ4 一般化と実行時間の利点は異なるPDEやドメイン形状にどの程度転移するか。

主な発見

• ASMRは複数のPDEにおいて要素数が千を超える静的メッシュで一貫して高品質な改良をもたらす。
• ASMRは最新のRL手法を上回り、改良品質でオラクルベースのヒューリスティックと同等または近似する。
• ASMRは要求の厳しいシミュレーションで均一改良に比べて最大で2オーダーの速度向上を達成する。
• 面積スケーリングと空間的エージェントごとの報酬は性能向上に不可欠である。
• ASMRは見慣れないドメインや荷重関数へも良く一般化し、均一改良より実行時間が2～100倍の大幅な速度アップを示す。