[論文レビュー] Learning to Optimize Multigrid PDE Solvers

Daniel Greenfeld, Meirav Galun+3 more|arXiv (Cornell University)|Feb 25, 2019

Distributed and Parallel Computing Systems被引用数 30

ひとこと要約

本論文は、空間的に変化する係数を有する2次元拡散PDEの族にわたって、1つのニューラルネットワークを訓練して最適な補間作用素を生成するためのディープラーニングフレームワークを提案する。代数的性質に基づく教師なし学習により、グリッドサイズ、境界条件、係数分布の変化に対し一般化可能であり、古典的なブラックボックス multigrid スキームよりも高速な収束を達成する。

ABSTRACT

Constructing fast numerical solvers for partial differential equations (PDEs) is crucial for many scientific disciplines. A leading technique for solving large-scale PDEs is using multigrid methods. At the core of a multigrid solver is the prolongation matrix, which relates between different scales of the problem. This matrix is strongly problem-dependent, and its optimal construction is critical to the efficiency of the solver. In practice, however, devising multigrid algorithms for new problems often poses formidable challenges. In this paper we propose a framework for learning multigrid solvers. Our method learns a (single) mapping from a family of parameterized PDEs to prolongation operators. We train a neural network once for the entire class of PDEs, using an efficient and unsupervised loss function. Experiments on a broad class of 2D diffusion problems demonstrate improved convergence rates compared to the widely used Black-Box multigrid scheme, suggesting that our method successfully learned rules for constructing prolongation matrices.

研究の動機と目的

• 新しいPDE問題に対して効率的なmultigridソルバーを構築する課題に取り組み、最適な補間作用素を手動で設計することが難しいこと。
• 各新しい問題やPDEインスタンスに対して再訓練を要する既存の学習ベースのPDEソルバーの限界を克服すること。
• 1つのマッピングを学習する一般化可能なフレームワークを開発し、拡散方程式の族全体に対して、PDE離散化から有効な補間作用素への変換を実現すること。
• 教師データとしての真値解や作用素を必要とせず、学習済み作用素の代数的品質指標に依存する教師なし学習を可能にすること。
• 訓練データが限られ、小規模である場合でも、問題のサイズ、境界条件、係数分布にわたる一般化を実証すること。

提案手法

• 2次元拡散PDEの離散化（係数フィールドで定義）からmultigridソルバーに使用される補間作用素へのマッピングを学習する深層ニューラルネットワークを訓練する。
• 代数的multigridの原則に基づく教師なし損失関数を用い、特に補間作用素の滑らかさと近似品質を最適化する。
• 小スケールの問題（例：$32 \times 32$）を用いて、ブロック周期的係数フィールドとブロックフーリエモード解析を組み合わせて効率的に訓練する。
• 補間作用素の局所的構造を活用し、より大きなグリッド（最大$1024 \times 1024$）や異なる境界条件（周期的でない、例：ディリクレ境界）への一般化を可能にする。
• 訓練済みネットワークをテスト時に、再訓練なしに新しいPDEインスタンス用のソルバーを生成するために適用し、非正方形領域や異なる係数分布に対しても対応可能である。
• 未学習のテスト問題において、収束因子（VサイクルおよびWサイクル）を用いて性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 空間的に変化する係数を有する2次元拡散PDEの族全体に対して、1つのニューラルネットワークが有効な補間作用素を生成できるか？
• RQ2 小規模で周期的な問題で訓練したモデルが、より大きなグリッド、異なる境界条件、非周期的係数分布へ一般化できる程度はどの程度か？
• RQ3 作用素の代数的性質に基づく教師なし学習が、ブラックボックス法のような古典的手法よりも優れたmultigridソルバーを生み出すか？
• RQ4 拡散係数の分布シフト（例：対数正規分布の訓練 vs. 均一分布のテスト）に対して、学習済みソルバーのロバストネスはどの程度か？
• RQ5 時間依存問題に重要な対角安定化項（例：$\varepsilon u$）を含むPDEに対しても、このフレームワークが性能向上を維持できるか？

主な発見

• 学習済みmultigridソルバーは、$1024 \times 1024$グリッドを含むすべてのテスト設定で、ブラックボックスmultigridスキームよりも顕著に高速な収束速度を達成した。
• 対数正規分布係数のWサイクルにおいて、ネットワークベースの手法は$1024 \times 1024$テストインスタンスの98％でブラックボックススキームを上回った。
• 非正方形のディスク領域では、ネットワークベースの手法がサイクルごとの漸近的誤差ノルムを$0.1352 \pm 0.0155$（Wサイクル）に低下させたのに対し、ブラックボックス手法は$0.1639 \pm 0.0169$であった。
• 訓練時とは異なる係数分布（均一分布 vs. 対数正規分布）のテストでも、ネットワークベースの手法は性能優位性を維持し、$1024 \times 1024$のVサイクルで81％、Wサイクルで96％のインスタンスでブラックボックススキームを上回った。
• 追加の$\varepsilon u$項（時間依存問題に重要）を含む対角優勢問題に対しても、$\varepsilon h^2$のさまざまな値において、優れた収束因子を維持した。
• グリッドサイズが増加するにつれて、ネットワークベース手法の成功率は安定または向上し、小スケールの問題での訓練にもかかわらず、強い一般化能力を示した。