[論文レビュー] Meta-MgNet: Meta Multigrid Networks for Solving Parameterized Partial Differential Equations

Yuyan Chen, Bin Dong+1 more|arXiv (Cornell University)|Oct 27, 2020

Model Reduction and Neural Networks参考文献 32被引用数 8

ひとこと要約

この論文では、再訓練を必要とせず、多様なパrameterにわたってパrameter化された偏微分方程式（PDE）を効率的に解く、メタラーニングに基づくディーブラーニングフレームワーク、Meta-MgNetを提案する。PDEパラメータに応じてスムージングを適応的に生成するハイパーネットワーク（Meta-NN）をマルチグリッドネットワーク（MgNet）に統合することで、Meta-MgNetは、教師あり学習ベースラインおよび古典的マルチグリッド法よりも高速な収束と優れた一般化性能を達成し、ポアソン方程式について収束保証が得られる。

ABSTRACT

This paper studies numerical solutions for parameterized partial differential equations (P-PDEs) with deep learning (DL). P-PDEs arise in many important application areas and the computational cost using traditional numerical schemes can be exorbitant, especially when the parameters fall into a particular range and the underlying PDE is required to be solved with high accuracy. Recently, solving PDEs with DL has become an emerging field. Existing works demonstrate great potentials of the DL based approach in speeding up numerical solutions of PDEs. However, there is still limited research on the DL approach for P-PDEs. If we directly apply existing supervised learning models to P-PDEs, the models need to be constantly fine-tuned or retrained when the parameters change. This drastically limits the applicability and utility of these models in practice. To resolve this issue, we propose a meta-learning-based method that can efficiently solve P-PDEs with a wide range of parameters without retraining. Our key observation is to regard training a solver for the P-PDE with a given set of parameters as a learning task. Then, training a solver for the P-PDEs with varied parameters can be viewed as a multi-task learning problem, to which meta-learning is one of the most effective approaches. This new perspective can be applied to many existing PDE solvers. As an example, we adopt the Multigrid Network (MgNet) as the base solver. To achieve multi-task learning, we introduce a new hypernetwork, called Meta-NN, in MgNet and refer to the entire network as the Meta-MgNet. Meta-NN takes the differential operators and the right-hand-side of the underlying P-PDEs as inputs and generates appropriate smoothers for MgNet which can significantly affect the convergent speed. Finally, extensive numerical experiments demonstrate that Meta-MgNet is more efficient in solving P-PDEs than the MG methods and MgNet.

研究の動機と目的

• 従来の数値的手法では、複数のパラメータ値にわたってパラメータ化されたPDEを解く際に高い計算コストがかかる問題に対処する。
• 各新しいパラメータセットに対して再訓練が必要な教師ありディープラーニングモデルの限界を克服する。
• パラメータに強く、一般化可能なPDEソルバーを構築するため、パラメータ化されたPDEの解法をマルチタスク学習問題として定式化する。
• MgNetフレームワークにメタラーニングを統合し、再訓練なしに新しいPDEパラメータに迅速に適応できるようにする。
• ポアソン方程式について理論的収束保証を確保するとともに、非等方的拡散やオッセング方程式のような複雑なPDEにおいても高い効率性を維持する。

提案手法

• 各パラメータセットが別個の関連するタスクに対応するマルチタスク学習問題として、パラメータ化されたPDEの解法を定式化する。
• PDEの微分作用素と右辺を入力とし、MgNetフレームワークのためのタスク固有のスムージングを生成するハイパーネットワーク、Meta-NNを導入する。
• Meta-NNをMgNetアーキテクチャ内に埋め込み、PDEのパラメータ化に応じてスムージングパラメータを動的に調整することで、迅速な適応を可能にする。
• 標準的な仮定の下で、ポアソン方程式の収束保証を得るために、Meta-NNにアーキテクチャ的制約を設ける。
• 多様なPDEパラメータ分布上でエンドツーエンドにMeta-MgNetを訓練し、未観測のパラメータ値についてゼロショット推論を可能にする。
• 標準的なマルチグリッドの prolongation および restriction 演算子を用い、メタラーニングの革新をスムージング部に集中させ、適応性の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、再訓練なしに新しいパラメータに迅速に適応できるように、パラメータ化されたPDEソルバーに効果的に適用可能か？
• RQ2 ディープラーニングベースのマルチグリッドフレームワークは、広範なPDEパラメータ範囲においても、収束保証を維持しながら、強靭で一般化可能なものにできるか？
• RQ3 ハイパーネットベースのスムージング生成機構は、固定または教師あり学習ベースのスムージングと比較して、収束速度および解の精度をどの程度向上させるか？
• RQ4 Meta-MgNetは、非等方的拡散やオッセング方程式のような複雑なPDEにおいて、さまざまなパラメータ範囲で優れた性能を維持するか？
• RQ5 提案されたフレームワークは、トレーニング時に見られなかった新しいPDEパラメータに一般化可能か？また、古典的マルチグリッド法および教師あり学習ベースラインと比較して、推論効率はどの程度優れているか？

主な発見

• Meta-MgNetは、古典的マルチグリッド法および教師あり学習で訓練されたPDE-MgNetよりも高速な収束を達成し、2次元非等方的拡散問題では反復回数が最大30％削減された。
• オッセング方程式では、$a_x = a_y = 100$ の条件下で11.52秒で問題を解き、わずか235反復で、速度および精度の両面でベースライン手法を上回った。
• Meta-MgNetは、極端な非等方性や高レイノルズ数の範囲を含む多様なパラメータ範囲で一貫した性能を示し、再訓練を必要としなかった。
• Meta-NNの設計のおかげで、ポアソン方程式について収束保証が得られ、安定したスムージング適応が保証された。
• Meta-MgNetは、トレーニング時に見られなかったパラメータ値に対しても効果的に一般化され、標準的な教師ありモデルとは異なり、ファインチューニングや再訓練の必要がなかった。
• オッセング方程式の誤差マップは、全テストパラメータセットで一様に低い残差を示し、強靭性および高い解の忠実度を確認した。