[論文レビュー] Deep Multigrid: learning prolongation and restriction matrices

Alexandr Katrutsa, Talgat Daulbaev+1 more|arXiv (Cornell University)|Nov 10, 2017

Model Reduction and Neural Networks参考文献 24被引用数 13

ひとこと要約

本稿では、勾配逆伝播を用いて補間演算子と制限演算子を最適化する深層ニューラルネットワークとして幾何的マルチグリッド法を定式化する、新しい手法であるDeep Multigrid (DMG) を提案する。Gelfandの公式を用いたスペクトル半径の確率的近似を最小化することで、1次元のポisson方程式、ヘルムホルツ方程式、対流拡散方程式において、標準的および代数的マルチグリッド法よりも高速な収束を達成する。

ABSTRACT

This paper proposes the method to optimize restriction and prolongation operators in the two-grid method. The proposed method is straightforwardly extended to the geometric multigrid method (GMM). GMM is used in solving discretized partial differential equation (PDE) and based on the restriction and prolongation operators. The operators are crucial for fast convergence of GMM, but they are unknown. To find them we propose a reformulation of the two-grid method in terms of a deep neural network with a specific architecture. This architecture is based on the idea that every operation in the two-grid method can be considered as a layer of a deep neural network. The parameters of layers correspond to the restriction and prolongation operators. Therefore, we state an optimization problem with respect to these operators and get optimal ones through backpropagation approach. To illustrate the performance of the proposed approach, we carry out experiments on the discretized Laplace equation, Helmholtz equation and singularly perturbed convection-diffusion equation and demonstrate that proposed approach gives operators, which lead to faster convergence.

研究の動機と目的

• 幾何的マルチグリッド法（GMM）における最適な制限および補間演算子の設計という課題に取り組むこと。通常、これらの演算子は手作業で設計されたり、ヒューリスティックに基づいて設計される。
• 2グリッド法を特定のアーキテクチャを持つ深層ニューラルネットワークとして再定式化し、マルチグリッド演算子のエンドツーエンド最適化を可能にする。
• Gelfandの公式を用いたスペクトル半径の確率的近似に基づく微分可能損失関数を構築し、主要固有ベクトルの計算を避ける。
• 学習された演算子が、モデルPDEに対して標準的線形補間法や代数的マルチグリッド（AMG）よりも収束速度が速いことを実証する。
• 多様なPDEに適用可能な汎用的でデータ駆動型のマルチグリッド演算子学習の基盤を構築する。

提案手法

• マルチグリッド反復の2グリッド法を、各マルチグリッド操作（平滑化、制限、補間、粗グリッドソルバ）がネットワークのレイヤーに対応する深層ニューラルネットワークとして再定式化する。
• 反復行列のスペクトル半径を最小化する対象としつつ、微分可能にするためにGelfandの公式に基づく確率的トレース推定器に置き換える。
• Autogradを介した自動微分を用いて、制限および補間演算子に関する確率的スペクトル半径近似の勾配を計算する。
• Adam最適化法を用いて演算子を最適化し、収束を良好な局所最適解に導くためにホモトピー続行法による初期化を実施する。
• Poisson方程式、ヘルムホルツ方程式、対流拡散方程式の離散化系のシーケンスに対して、固定された数のランダム初期ベクトルを用いてトレース推定を実施する。
• 学習済みの2グリッド法を、複数のグリッドレベルに再帰的に適用することで、完全な幾何的マルチグリッドに拡張する。

実験結果

リサーチクエスチョン

• RQ1 幾何的マルチグリッド法を深層ニューラルネットワークとして再解釈することで、その主要な構成要素に対する微分可能最適化が可能になるか？
• RQ2 主固有ベクトルの計算を回避しつつ、Gelfandの公式に基づく確率的で微分可能なスペクトル半径近似を用いて、制限および補間演算子の学習に有効に利用できるか？
• RQ3 学習されたマルチグリッド演算子は、ベンチマークPDEに対して、標準的線形補間法や代数的マルチグリッド（AMG）よりも高速な収束を達成するか？
• RQ4 ホモトピー初期化戦略は、マルチグリッド演算子学習の最適化プロセスをどのように改善するか？
• RQ5 学習された演算子は、フィードフォワード形式で、異なるPDEや係数設定に一般化可能か？

主な発見

• 提案されたDeep Multigrid（DMG）手法は、バックプロパゲーションを用いて制限および補間演算子を最適化し、線形補間を用いた標準的幾何的マルチグリッド法よりも高速な収束を達成した。
• 1次元ポアソン方程式では、全テストグリッドサイズ（n = 63 から 511）において、DMGがスペクトル半径を0.1未満に低下させ、線形法およびAMG法を上回った。
• ヘルムホルツ方程式では、n = 511でスペクトル半径が約0.05に達し、線形法よりも顕著に低く、AMG法と同等の性能を示したが、実験ではより高速な収束を示した。
• 特異摂動型対流拡散方程式では、DMGが優れた性能を示し、高解像度グリッドでもスペクトル半径が0.05未満に保たれたのに対し、線形法およびAMG法はより高い値を示した。
• Gelfandの公式に基づく確率的トレース推定器により、効率的な勾配計算が可能となり、最適化が大規模システムに対しても実行可能かつスケーラブルになった。
• ホモトピー初期化法は収束の安定性を向上させ、悪くない局所最適解の回避に寄与し、マルチグリッド演算子の信頼性ある学習を可能にした。