[論文レビュー] Learning Algebraic Multigrid Using Graph Neural Networks

Ilay Luz, Meirav Galun+3 more|arXiv (Cornell University)|Mar 12, 2020

Model Reduction and Neural Networks被引用数 11

ひとこと要約

本稿では、スパースな対称正定（半正定）線形系に対する代数多重グリッド（AMG）の prolongation 演算子を、グラフ構造行列上の非教師ありメッセージパッシング学習を用いて学習する GNN ベースのフレームワークを提案する。本手法は問題のサイズ、トポロジー、分布にわたって一般化可能であり、スペクトルクラスタリング、偏微分方程式、グラフラプラシアン問題において、古典的 AMG よりも高速な収束を達成する。

ABSTRACT

Efficient numerical solvers for sparse linear systems are crucial in science and engineering. One of the fastest methods for solving large-scale sparse linear systems is algebraic multigrid (AMG). The main challenge in the construction of AMG algorithms is the selection of the prolongation operator -- a problem-dependent sparse matrix which governs the multiscale hierarchy of the solver and is critical to its efficiency. Over many years, numerous methods have been developed for this task, and yet there is no known single right answer except in very special cases. Here we propose a framework for learning AMG prolongation operators for linear systems with sparse symmetric positive (semi-) definite matrices. We train a single graph neural network to learn a mapping from an entire class of such matrices to prolongation operators, using an efficient unsupervised loss function. Experiments on a broad class of problems demonstrate improved convergence rates compared to classical AMG, demonstrating the potential utility of neural networks for developing sparse system solvers.

研究の動機と目的

• 問題固有のヒューリスティクスに依存せずに、AMG prolongation 演算子を学習するデータ駆動型フレームワークの構築を目的とする。
• 非構造的グラフや異なる問題サイズを含む多様なスパース対称正定（半正定）行列にわたる一般化を目的とする。
• 非教師あり損失関数を用いて、1つの GNN モデルが一連の行列クラスを効果的な prolongation 演算子にマッピングできるように訓練することを目的とする。
• LOBPCG などの反復解法の収束速度を向上させるために、より良い prolongation 行列を学習することを目的とする。
• 線形方程式系の解法において、分布、トポロジー、次元にわたる転送可能性を可能とすることを目的とする。

提案手法

• スパース行列 A をグラフ GA = (VA, EA) として表現する。ここで、ノードは変数に対応し、エッジは非ゼロ行列要素 Aij を重み付きで表す。
• メッセージパッシングアーキテクチャを備えたグラフニューラルネットワークを用いて、入力グラフ特徴量から prolongation 演算子 P を予測する。
• ワンホットエンコーディングとエンコーダ出力を含むノードおよびエッジ特徴量を統合し、メッセージ伝搬を豊かにする。
• 粗めのグリッド近似における誤差低減の最小化に基づく非教師あり損失関数を用いて GNN を訓練する。ラベル付きデータを必要としない。
• 局所的に非構造的な問題においても効率的な学習を可能とするために、ブロック周期的三角メッシュに対する新規なフーリエ解析を適用する。
• LOBPCG を粗めのグリッドソルバとして用いた W サイクル多重グリッドソルバを採用し、残差許容誤差を用いて収束を評価する。

実験結果

リサーチクエスチョン

• RQ1 1つの GNN が、多様なスパース対称正定行列にわたって一般化可能であり、効果的な prolongation 演算子を学習できるか？
• RQ2 異なる問題クラスにおいて、学習された AMG ソルバの収束速度は、古典的 AMG と比べてどの程度優れているか？
• RQ3 GNN は、未観測の問題サイズ、分布、グラフトポロジーにどの程度一般化できるか？
• RQ4 メッセージパッシングの深さ、特徴量連結、ワンホットインジケータなどのアーキテクチャ的要素のうち、性能に最も寄与するのはどれか？
• RQ5 ブロック巡回行列における非教師あり学習によって、現実世界の問題に一般化可能で高性能な prolongation 演算子が得られるか？

主な発見

• 2ガウス分布スペクトルクラスタリング問題（1,000点）において、LOBPCG の反復回数が古典的 AMG より平均で 14.2% 減少した。
• 10,000点問題では、平均で 10.2% の反復回数削減が達成され、スケーラビリティと一般化性能が裏付けられた。
• 分布にわたる一般化が効果的であった：2ガウス、5ガウス、ムーン、同心円分布の問題において、古典的 AMG の反復回数の 85.8% から 94.2% を達成した。
• アブレーションスタディの結果、メッセージパッシング層の削減により成功確率が 79% から 63% に低下し、アーキテクチャの深さに極めて感受することが示された。
• ワンホットエッジおよびノードインジケータの削除により、性能は 68% の成功確率に低下し、特徴表現におけるその重要性が強調された。
• 3D 2ガウス問題においても、CAMG の反復回数の 89.5% を維持した。5-NN および 3D 変種に対しても同様に高い性能を示し、トポロジー変化に対しても頑健であることが確認された。