[論文レビュー] Learning the Dynamics of Physical Systems from Sparse Observations with Finite Element Networks

Marten Lienen, Stephan Günnemann|arXiv (Cornell University)|Mar 16, 2022

Hydrological Forecasting Using AI被引用数 11

ひとこと要約

本論文では、未知の偏微分方程式（PDE）に適用された有限要素法（FEM）からモデル構造を導出することで、疎な観測から時空間的ダイナミクスを学習するグラフニューラルネットワークフレームワーク、有限要素ネットワーク（FEN）を紹介する。PDEの形に関する事前知識（例：対流方程式からの対流）を組み込むことで、ダイナミクスの解釈可能な分離が可能となり、特に輸送用変種（TFEN）は、海面水温およびガス流れ予測において、より高解像度のメッシュへの一般化性能が最先端水準に達している。

ABSTRACT

We propose a new method for spatio-temporal forecasting on arbitrarily distributed points. Assuming that the observed system follows an unknown partial differential equation, we derive a continuous-time model for the dynamics of the data via the finite element method. The resulting graph neural network estimates the instantaneous effects of the unknown dynamics on each cell in a meshing of the spatial domain. Our model can incorporate prior knowledge via assumptions on the form of the unknown PDE, which induce a structural bias towards learning specific processes. Through this mechanism, we derive a transport variant of our model from the convection equation and show that it improves the transfer performance to higher-resolution meshes on sea surface temperature and gas flow forecasting against baseline models representing a selection of spatio-temporal forecasting methods. A qualitative analysis shows that our model disentangles the data dynamics into their constituent parts, which makes it uniquely interpretable.

研究の動機と目的

• 疎で不規則に分布した観測しか得られない物理的システムにおける時空間的ダイナミクスの予測という課題に対処すること。
• 有限要素法（FEM）から導出された構造的誘導的バイアスを埋め込んだ微分可能でグラフベースのモデルを開発し、一般化性能と解釈可能性を向上させること。
• 対応するPDEに関する事前知識（例：対流）をモデルアーキテクチャに組み込むことで、高解像度のメッシュへの転移学習を可能にすること。
• PDEに基づく構造的設計を通じて、対流や源・ sink 操作などの複雑なダイナミクスを解釈可能な成分に分離する方法を提供すること。
• 実世界の物理的予測タスクにおいて、再帰的・時系列畳み込み・連続時間モデルの多様なベースラインと比較して、競争力のある性能を示すこと。

提案手法

• 空間領域を三角形分割によりメッシュに離散化し、各ノードを領域内の点として定義し、隣接ノードとグラフ構造で接続する。
• ダイナミクスを未知のPDEに支配される連続時間系として定式化し、FEMにおけるガラーキン法を適用して数値近似が可能なPDEの弱形式を導出する。
• 各ノードの瞬時の変化を、そのノードに関連する要素体積における未知のダイナミクスの影響を、基底関数と要素単位の積分を用いて計算することで推定する。
• グラフネットワーク内のメッセージパッシング機構が、隣接要素が各ノードのダイナミクスに与える寄与を計算し、効果的にPDEの弱形式を近似する。
• モデル構造は、仮定されたPDEの形（例：対流拡散）から直接導出されるため、物理的誘導的バイアスがアーキテクチャに埋め込まれる。
• 輸送問題のための特別な変種、輸送-FEN（TFEN）は、対流方程式から導出され、流れ場を解釈可能で可視化可能な成分として明示的にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 有限要素法から系統的に導出可能なグラフニューラルネットワークは、疎な観測から時空間的ダイナミクスをモデル化できるか？
• RQ2 対応するPDEに関する事前知識（例：対流）をニューラルネットワークのアーキテクチャにどのように組み込むことで、一般化性能と解釈可能性を向上させられるか？
• RQ3 PDEから導出されたモデル構造は、標準的な時空間ベースラインと比較して、より高い解像度のメッシュへの性能と転送可能性に優れるか？
• RQ4 モデルは、対流や源・ sink 操作といった異なる物理的プロセスを、解釈可能な成分に分離できるか？
• RQ5 FEMから得られる構造的バイアスは、物理的予測タスクにおける低データ環境での一般化性能をどの程度向上させるか？

主な発見

• 有限要素ネットワーク（FEN）は、再帰的・時系列畳み込み・連続時間モデルの強力なベースラインと比較して、海面水温およびガス流れの短期予測において競争力のある性能を達成している。
• 対流方程式から導出された輸送用変種、TFENは、海面水温およびガス流れ予測タスクにおいて、高解像度のメッシュへの一般化性能が顕著に向上している。
• TFENはダイナミクスを対流成分と残差（例：源・ sink）に分離しており、可視化された活性化は学習された流れ場に対応し、解釈可能で分析可能である。
• モデルの解釈可能性は、PDEの形から直接導出されたことによるもので、輸送や拡散といった物理的プロセスの意味的な内省が可能である。
• GPU上での非決定的メッセージパッシングであっても、同じシードで実行したトレーニングランでは性能のばらつきが小さく、固定された乱数シードと構成管理により再現性が保証されている。
• このフレームワークは、最小限の微調整で高解像度のメッシュへの転移学習を可能にし、物理的システムモデル化における頑健性とスケーラビリティを示している。