[論文レビュー] Learning the Solution Operator of Boundary Value Problems using Graph Neural Networks

Winfried Lötzsch, Simon Ohler+1 more|arXiv (Cornell University)|Jun 28, 2022

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本稿では、静電場や静磁場におけるポアソン方程式を含む時間に依存しない境界値問題を扱う、グラフニューラルネットワーク（GNN）ベースの解作用素を提案する。異なるメッシュ形状や不均一性を有する多数の有限要素法（FEM）シミュレーションを用いて訓練することで、未学習の幾何形状や源の重ね合わせに対しても一般化し、ポテンシャルに関して高い精度を達成するとともに、FEMソルバーに比べて顕著な高速化を実現するが、導出された場の制約違反が顕著に見られる。

ABSTRACT

As an alternative to classical numerical solvers for partial differential equations (PDEs) subject to boundary value constraints, there has been a surge of interest in investigating neural networks that can solve such problems efficiently. In this work, we design a general solution operator for two different time-independent PDEs using graph neural networks (GNNs) and spectral graph convolutions. We train the networks on simulated data from a finite elements solver on a variety of shapes and inhomogeneities. In contrast to previous works, we focus on the ability of the trained operator to generalize to previously unseen scenarios. Specifically, we test generalization to meshes with different shapes and superposition of solutions for a different number of inhomogeneities. We find that training on a diverse dataset with lots of variation in the finite element meshes is a key ingredient for achieving good generalization results in all cases. With this, we believe that GNNs can be used to learn solution operators that generalize over a range of properties and produce solutions much faster than a generic solver. Our dataset, which we make publicly available, can be used and extended to verify the robustness of these models under varying conditions.

研究の動機と目的

• 時間に依存しないPDEのためのニューラル作用素を開発し、多様なメッシュ幾何形状および不均一性の配置に一般化すること。
• PDEの明示的知識なしに、FEMでシミュレートされたデータのみに依存してGNNが解作用素を学習できるかを調査すること。
• 訓練データの多様性が、未学習のメッシュ形状や源の重ね合わせへの一般化をどのように促進するかを評価すること。
• 特にGPUアクセラレータドハードウェア上で、GNNの推論速度を従来のFEMソルバーと比較してベンチマークすること。
• 特に電場や磁場といった導出された物理量における物理的整合性の欠如を特定すること。

提案手法

• モデルは、三角形メッシュを入力として処理するスペクトル的グラフ畳み込みを用いたグラフニューラルネットワーク（GNN）を採用し、ノードがメッシュの頂点、エッジが接続性を表す。
• GNNは、非自明な境界条件を伴う静電場および静磁場におけるポアソン型PDEのFEMシミュレート解に対して、教師あり学習で訓練される。
• 入力特徴量には、各メッシュノードにおける空間座標、境界条件、および源項（例：電荷密度や電流密度）が含まれる。
• モデルは各ノードにおける解関数（例：電場ポテンシャル）を予測し、追加のヘッドにより導出された場（例：電場の大きさと方向）も予測する。
• 一般化の評価は、未学習のメッシュトポロジー（形状一般化）および異なる数の不均一性を有する重ね合わせタスク（訓練時とは異なる不均一性数）を用いて実施される。
• 訓練データの拡張には、多様なメッシュ形状、不均一性の数の変動、空間的分布の多様性を含め、耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 GNNは、PDEの明示的知識なしに、多様なメッシュ幾何形状にわたる静的PDEの一般解作用素を学習できるか？
• RQ2 特にメッシュ形状および不均一性配置の多様性が、未学習のシナリオへの一般化に与える影響はいかほどか？
• RQ3 GNNモデルは、訓練時に見られなかった数の不均一性を有する解の重ね合わせに対しても一般化できるか？
• RQ4 電場における∇×E=0のような物理的制約は、どの程度モデルが保持しているか？
• RQ5 GNNの推論速度は、特にGPUハードウェア上で、従来の反復的FEMソルバーと比較してどの程度優れているか？

主な発見

• GNNは、形状一般化および重ね合わせタスクを含むすべてのテストタスクにおいて、電場および磁場ポテンシャルを高い精度で予測し、解作用素の有効な学習を示している。
• 訓練データに多様性がある場合、未学習のメッシュ形状や不均一性の数に対しても一般化が可能であり、耐性が確認された。
• GPU上では、FEniCS FEMソルバーに比べてGNNベースのソルバーは10倍以上の高速化を達成しており、並列化のおかげでCPU上でも顕著な高速化が得られている。
• ポテンシャルの予測は高精度であるが、導出された場（例：電場や磁場）では顕著な誤差が見られ、特に∇×E=0のような物理的制約に違反している。
• 最大の予測誤差は境界付近および高い場の勾配を示す領域に発生し、特に形状一般化タスクで顕著である。
• 訓練時のデータ多様性は極めて重要である：メッシュ形状の変動が限定されたデータで訓練されたモデルは一般化に失敗し、耐性を高めるための拡張の重要性が浮き彫りになった。