[論文レビュー] GrADE: A graph based data-driven solver for time-dependent nonlinear partial differential equations

Y V Ravi Kumar, Souvik Chakraborty|arXiv (Cornell University)|Aug 24, 2021

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本稿では、空間的モデリングにグラフニューラルネットワーク（GNN）を、時間的変化にニューラルODEを、特徴量の重み付け強化にアテンション機構を組み合わせた、時間依存非線形PDEを解くための新しいグラフベースのデータ駆動型ソルバ―GrADEを提案する。このフレームワークは、深さの細分化戦略を用いることで、訓練時間の短縮と一般化性能の向上を実現し、FEMベンチマークを上回る性能を示し、大きな時間ステップと最小限のデータで正確かつスケーラブルな解を得られる。

ABSTRACT

The physical world is governed by the laws of physics, often represented in form of nonlinear partial differential equations (PDEs). Unfortunately, solution of PDEs is non-trivial and often involves significant computational time. With recent developments in the field of artificial intelligence and machine learning, the solution of PDEs using neural network has emerged as a domain with huge potential. However, most of the developments in this field are based on either fully connected neural networks (FNN) or convolutional neural networks (CNN). While FNN is computationally inefficient as the number of network parameters can be potentially huge, CNN necessitates regular grid and simpler domain. In this work, we propose a novel framework referred to as the Graph Attention Differential Equation (GrADE) for solving time dependent nonlinear PDEs. The proposed approach couples FNN, graph neural network, and recently developed Neural ODE framework. The primary idea is to use graph neural network for modeling the spatial domain, and Neural ODE for modeling the temporal domain. The attention mechanism identifies important inputs/features and assign more weightage to the same; this enhances the performance of the proposed framework. Neural ODE, on the other hand, results in constant memory cost and allows trading of numerical precision for speed. We also propose depth refinement as an effective technique for training the proposed architecture in lesser time with better accuracy. The effectiveness of the proposed framework is illustrated using 1D and 2D Burgers' equations. Results obtained illustrate the capability of the proposed framework in modeling PDE and its scalability to larger domains without the need for retraining.

研究の動機と目的

• 不規則な領域における非線形PDEのための従来の数値解法の計算非効率性と制限を解消すること。
• 全結合層や畳み込みニューラルネットワークが不規則なデータや不規則な幾何構造を扱う際の欠陥を克服すること。
• 空間的ダイナミクスをグラフアテンションでモデリングし、時間的ダイナミクスをニューラルODEでモデリングする、微分可能でエンドツーエンドのフレームワークを開発すること。
• 新規な深さの細分化戦略を用いて、訓練効率と解の正確性を向上させること。
• Burgers方程式などのベンチマークPDEに対して、最小限の訓練データと大きな時間ステップを用いてフレームワークを検証すること。

提案手法

• ドメインをグラフとして表現することで、ノードを空間的点、エッジを近隣関係として定義し、グラフニューラルネットワーク（GAT）を用いて空間的依存関係をモデリングする。
• フィードフォワードネットワークを用いて実装されたアテンション機構により、隣接ノードへの重要度を動的に割り当て、特徴表現の質とモデルの表現力が向上する。
• 時間的変化はニューラルODEでモデリングされ、時間微分を連続関数としてパラメータ化することで、定常的なメモリコストと柔軟な時間積分が可能になる。
• 2段階のグラフネットワークを採用：第1層は1階微分を近似し、第2層は2階微分を近似し、中央差分との比較で妥当性を検証する。
• 訓練中に段階的にネットワークの深さを増やす深さの細分化技術を導入し、収束速度と正確性が向上する。
• 全軌道の監視が不要な物理情報に基づく損失関数を用いて訓練し、疎な時間点でのPDEの満たされる条件を強制する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのディープラーニングフレームワークは、時間依存PDEの不規則な領域における空間的ダイナミクスを効果的にモデリングできるか？
• RQ2 グラフアテンションとニューラルODEを組み合わせることで、標準的なPINNやFNNと比較して解の正確性と訓練効率がどのように向上するか？
• RQ3 提案された深さの細分化戦略は、訓練時間をどれほど短縮できるか、かつ解の正確性を維持または向上させられるか？
• RQ4 再トレーニングなしで、より大きな領域や長い時間スケールに一般化できるか？
• RQ5 学習されたグラフネットワーク層は、中央差分などの数値スキームと比較して、真の空間微分をどれほど正確に近似できるか？

主な発見

• GrADEは、2つの時間スナップショットのみを訓練データとして用いることで、1次元および2次元のBurgers方程式を高い正確性で解くことができる。これは、データ要件の顕著な削減を意味する。
• 再トレーニングなしで、より大きな領域や長い時間スケールに一般化でき、強力なスケーラビリティを示している。
• グラフネットワーク層は、1階および2階微分を正確に近似しており、中央差分計算との結果が密接に一致している。
• GAT層でアテンション重みをフィードフォワードネットワークで実装した場合、ターミナルネットワークベースの代替手法よりもわずかに高い正確性を達成している。
• 深さの細分化により、訓練時間の短縮と収束の向上が実現され、定常的深さの訓練に比べてより高速かつ正確な訓練が可能になった。
• ニューラルODE部により、定常的なメモリコストが確保され、数値的精度と速度のトレードオフが可能になり、計算効率が向上した。