[論文レビュー] Multipole Graph Neural Operator for Parametric Partial Differential Equations

Zongyi Li, Nikola Kovachki+5 more|arXiv (Cornell University)|Jun 16, 2020

Model Reduction and Neural Networks参考文献 47被引用数 159

ひとこと要約

MGKNは、ファストモポール法に触発された多層グラフニューラル演算子を導入し、パラメトリックPDEの離散化に依存しない解演算子を、線形時間計算量で学習します。

ABSTRACT

One of the main challenges in using deep learning-based methods for simulating physical systems and solving partial differential equations (PDEs) is formulating physics-based data in the desired structure for neural networks. Graph neural networks (GNNs) have gained popularity in this area since graphs offer a natural way of modeling particle interactions and provide a clear way of discretizing the continuum models. However, the graphs constructed for approximating such tasks usually ignore long-range interactions due to unfavorable scaling of the computational complexity with respect to the number of nodes. The errors due to these approximations scale with the discretization of the system, thereby not allowing for generalization under mesh-refinement. Inspired by the classical multipole methods, we propose a novel multi-level graph neural network framework that captures interaction at all ranges with only linear complexity. Our multi-level formulation is equivalent to recursively adding inducing points to the kernel matrix, unifying GNNs with multi-resolution matrix factorization of the kernel. Experiments confirm our multi-graph network learns discretization-invariant solution operators to PDEs and can be evaluated in linear time.

研究の動機と目的

• 固定離散化を超えるパラメトリックPDEの解演算子を、迅速でデータ駆動的に学習する動機づけ。
• 標準GNNの長距離相互作用の制限を、マルチスケールで線形時間の枠組みを導入することで克服する。
• グラフニューラルネットワークを多解像度マトリクス分解と統一して離散化不変の演算子学習を可能にする。

提案手法

• PDE解演算子を、カーネルネットワークで学習されるカーネルベースのグラフ演算子としてモデル化する。
• 長距離相互作用を捉えるための誘導点を導入し、多層グラフへリフトする。
• ファストモポールに触発された階層構造を用いてカーネルをレンジに分解し、V-cycleを適用して多解像度因子分解を計算する。
• Nyström近似を用いて線形またはほぼ線形の計算量を実現する。
• L個のグラフレベルを横断するレベル内・レベル間遷移のために複数のカーネルネットワークを訓練する。
• Darcy流とBurgers方程式で離散化不変性と線形時間評価を実証する。

実験結果

リサーチクエスチョン

• RQ1 MGKNはパラメトリックPDEに対して離散化不変（メッシュ不変）な解演算子を学習できるか？
• RQ2 多層・モポールに触発されたグラフアーキテクチャは、ノード数に対して線形計算量を生み出すか？
• RQ3 長距離相関を持つ線形および非線形PDEに対するMGKNの性能は、ベースラインと比べてどうか？
• RQ4 レベル数Lが精度と効率に与える影響は？
• RQ5 Nyström誘導近似が解像度間で演算子の精度をどの程度保持できるか？

主な発見

• MGKNはノード数に対して線形時間計算量を達成し、二次計算量を持つベースラインを上回る。
• グラフレベルを増やすと、Darcy流でテスト誤差が減少し、時間コストの大幅な増加なく精度が向上する。
• 粗いグリッドで訓練されたMGKNは、より細かいグリッドへ一般化でき、離散化不変性（超分解能能力）を示す。
• Burgers方程式で、線形空間が不十分な場合にも、MGKNはベンチマークより競争力がある、または優れている。
• 直交カーネル分解は、テストされたDarcy流設定でより良い性能を示す傾向がある。