[論文レビュー] Learning continuous-time PDEs from sparse data with graph neural networks

Valerii Iakovlev, Markus Heinonen+1 more|arXiv (Cornell University)|Jun 16, 2020

Model Reduction and Neural Networks被引用数 14

ひとこと要約

本稿では、疎で不規則にサンプリングされた空間的・時間的データから未知の偏微分方程式（PDE）を学習する連続時間グラフニューラルネットワーク（GNN）フレームワークを提案する。時間差分法とメッセージパッシングGNNを組み合わせ、連続時間アドジョイント法による学習を実施することで、非構造的グリッドおよび任意の時間ステップにおいて柔軟で高精度なPDE同定が可能となり、熱伝導、対流拡散、バーガース方程式といった複雑な物理系において、離散時間ベースラインを上回る性能を発揮する。

ABSTRACT

The behavior of many dynamical systems follow complex, yet still unknown partial differential equations (PDEs). While several machine learning methods have been proposed to learn PDEs directly from data, previous methods are limited to discrete-time approximations or make the limiting assumption of the observations arriving at regular grids. We propose a general continuous-time differential model for dynamical systems whose governing equations are parameterized by message passing graph neural networks. The model admits arbitrary space and time discretizations, which removes constraints on the locations of observation points and time intervals between the observations. The model is trained with continuous-time adjoint method enabling efficient neural PDE inference. We demonstrate the model's ability to work with unstructured grids, arbitrary time steps, and noisy observations. We compare our method with existing approaches on several well-known physical systems that involve first and higher-order PDEs with state-of-the-art predictive performance.

研究の動機と目的

• 規則的なグリッドと離散時間近似に依存する既存のPDE学習手法の制限を克服すること。
• 空間的・時間的両方で不規則に配置された観測データから、高精度にPDEを同定できること。
• 任意の時間積分と空間離散化をサポートする連続時間動的モデルの開発。
• 空間微分をモデル化しつつ物理的構造を保持するため、GNNと時間差分法を統合すること。
• 固定された観測間隔やグリッド構造を仮定しない、ノイズ多めで疎な非一様データに対しても頑健な性能を発揮すること。

提案手法

• ノードが観測位置に対応するグラフとして空間領域を表現する。
• 各タイムステップでノード特徴量から空間微分（例：∇u、∇²u）をメッセージパッシングGNNで推定する。
• PDEの右辺FをGNNでパラメータ化し、連続時間ODEソルバーを用いてシステムの時間発展をモデル化する。
• 時間にわたるバックプロパゲーションを効率的に行うために、連続時間アドジョイント法を用いてモデルを学習する。
• 時間連続性を保ちつつ、空間領域をグラフに離散化する時間差分法を適用する。
• 空間的インダクティブバイアスの向上と一般化性能の向上を図るため、相対的なノード位置をエッジ特徴量に組み込む。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークフレームワークは、空間的・時間的両方で疎で不規則にサンプリングされたデータから未知のPDEを学習できるか？
• RQ2 GNNのエッジ特徴量に相対的な空間的位置を組み込むことで、方向性を持つ動的を示すPDE（例：対流拡散方程式）におけるモデル性能にどのような影響を与えるか？
• RQ3 時間的に疎または非一様なデータにおいて、連続時間定式化が離散時間モデルをどれほど上回るか？
• RQ4 バーガース方程式のような非線形項を含むPDEに対して、単純な拡散系と比較して、モデルの一般化性能はどの程度高いか？
• RQ5 密集したまたは規則的なグリッドを必要としない状況でも、ノイズの多い観測やデータ密度の低い状況において、モデルは高い精度を維持できるか？

主な発見

• 提案手法は、熱伝導方程式、対流拡散方程式、バーガース方程式において、疎で不規則な観測でも最先端の予測性能を達成した。
• エッジ特徴量に相対的な空間的位置を組み込むことで、特に方向性輸送が重要な対流拡散方程式やバーガース方程式において、モデルの精度が顕著に向上した。
• ノード数を100%から50%に減らした際、空間位置符号化を欠いたGNODEと比較して、性能差がほぼ2倍にまで拡大した。これは空間的インダクティブバイアスの重要性を示している。
• 純粋な拡散型の熱伝導方程式においては、空間符号化が明示的にない場合でも高い精度を維持できたが、その情報が欠落すると性能が低下した。
• アドジョイント法による連続時間学習により、効率的な最適化が可能となり、適応的時間積分をサポートし、疎なデータにおける一般化性能が向上した。
• 非線形項を含む複雑なPDE、例えばバーガース方程式に対しても、モデルは良好な一般化性能を示し、非線形波動伝搬や散逸効果を十分に捉える精度を達成した。