[論文レビュー] Reinforcement Learning for Adaptive Mesh Refinement

Jiachen Yang, Tarik Dzanic+10 more|arXiv (Cornell University)|Mar 1, 2021

Model Reduction and Neural Networks参考文献 44被引用数 7

ひとこと要約

この論文は、適応メッシュ細分化（AMR）をマルコフ決定過程（MDP）として定式化し、深層強化学習（RL）を用いて計算予算内での長期的精度を最適化するメッシュ細分化方策を学習する。この手法は、従来のZienkiewicz-Zhu誤差推定法を上回り、メッシュサイズや細分化予算に一般化可能であり、真の解が不要であることも示した。強化学習が、即時の誤差に基づくヒューリスティックに劣らない先読み的で非グリーディな細分化戦略を学習できることを示している。

ABSTRACT

Large-scale finite element simulations of complex physical systems governed by partial differential equations (PDE) crucially depend on adaptive mesh refinement (AMR) to allocate computational budget to regions where higher resolution is required. Existing scalable AMR methods make heuristic refinement decisions based on instantaneous error estimation and thus do not aim for long-term optimality over an entire simulation. We propose a novel formulation of AMR as a Markov decision process and apply deep reinforcement learning (RL) to train refinement policies directly from simulation. AMR poses a new problem for RL as both the state dimension and available action set changes at every step, which we solve by proposing new policy architectures with differing generality and inductive bias. The model sizes of these policy architectures are independent of the mesh size and hence can be deployed on larger simulations than those used at train time. We demonstrate in comprehensive experiments on static function estimation and time-dependent equations that RL policies can be trained on problems without using ground truth solutions, are competitive with a widely-used error estimator, and generalize to larger, more complex, and unseen test problems.

研究の動機と目的

• 即時の誤差推定に基づくヒューリスティックでグリーディな細分化意思決定に依存する既存のAMR手法の限界を解決すること。これは長期的最適性をもたらさない可能性がある。
• AMRをマルコフ決定過程（MDP）として再定式化し、シミュレーション全体における累積的精度の最適化を可能にする。
• メッシュサイズに依存しないスケーラブルな可変サイズのポリシー・アーキテクチャを設計し、訓練時に使用されたシミュレーションよりも大きなシミュレーションへの適用を可能にする。
• 真の解が分かっている小規模で代表的な問題でRLポリシーを学習し、新しい未観測問題へと転移可能にする。真の解がなくても、新しい報酬設計により学習可能である。
• 強化学習が、将来の解の特徴（例えば伝搬するフロントや不連続性）を予測する先読み的で非グリーディな細分化戦略を学習できるかを評価する。

提案手法

• 状態と行動空間がメッシュ細分化に伴い動的に変化するMDPとしてAMRを定式化。状態は現在のメッシュと解、行動は要素の細分化選択である。
• メッシュのトポロジーと局所的特徴の相互作用を活用し、可変サイズの状態空間と行動空間を扱えるように設計された、3つの新規ポリシー・アーキテクチャ（Graphnet、IPN、GNNベース）を提案。
• 学習用に参照解との解の誤差に基づく報酬関数を設計。真の解が存在しない問題では、相対誤差の改善度とシミュレーションベースの評価に拡張。
• 真の解析解が分かっている小規模で静的なテスト問題（例：$8\times8$メッシュ）でRLポリシーを学習し、その後、より大きな未観測メッシュや時間依存問題に展開。
• カリキュラム学習と転移学習戦略を用いて、細分化予算やメッシュ解像度の範囲で一般化可能にする。$64\times64$や$200\times200$メッシュを含む。
• Zienkiewicz-Zhu（ZZ）誤差推定法や真の誤差を用いたオラクルを含むベースラインと比較し、$L^2$および$L^\infty$誤差などの指標で性能を評価。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、Zienkiewicz-Zhuのような従来のヒューリスティックな誤差推定法を上回る最終解の精度を達成するAMRポリシーを学習できるか？
• RQ2 小規模で低予算のシミュレーションで学習したRLポリシーは、再訓練なしにより大きなメッシュや高い細分化予算に一般化できるか？
• RQ3 真の解が入手不可の状況で、静的問題から時間依存問題（例：移流）への転移が、RLポリシーによって効果的に可能か？
• RQ4 RLポリシーは、即時の誤差に基づく非効率なグリーディな意思決定を避ける先読み的細分化行動を学習しているか？
• RQ5 実用的なシミュレーションにおけるAMRの動的状態空間と行動空間に対応できる、スケーラブルでメッシュサイズに依存しないポリシー・アーキテクチャを設計できるか？

主な発見

• 小規模な$8\times8$メッシュで$ B=10 $の細分化予算で学習したRLポリシーは、$16\times16$および$64\times64$メッシュにおいてZienkiewicz-Zhu（ZZ）推定法を上回り、メッシュサイズにわたる強力な一般化を示した。
• 時間依存の移流問題において、$ B=20 $で学習したRLポリシー（Graphnet）は、$ B=50 $でテストした際、ZZおよび真の誤差ベースラインを大きく上回った。特に円形の特徴に対して顕著だった。
• $ B=10 $で学習したIPNポリシーは、$ B=100 $に一般化され、伝搬するフロントに対しても質的に正しい細分化意思決定を下した。予算が5倍に増加しても同様だった。
• 解とメッシュの長さスケール比を保持した$200\times200$メッシュにおいて、IPNポリシーは真の誤差ベースラインを円形特徴で上回り、スケールと複雑性に対して高いロバストネスを示した。
• 真の解が存在しない状況で学習したRLポリシーでさえ、真の誤差オラクルと同等の性能を達成した。これにより、提案された報酬設計の実世界での有効性が裏付けられた。
• IPNとGraphnetアーキテクチャは相補的な強みを示した：IPNは静的またはゆっくり伝搬する特徴（例：Burgers方程式）で優れた性能を発揮したが、Graphnetは滑らかで移動する特徴（例：バンプの移流）で優位だった。