[論文レビュー] Continuous PDE Dynamics Forecasting with Implicit Neural Representations

Yuan Yin, Matthieu Kirchmeyer+3 more|arXiv (Cornell University)|Sep 29, 2022

Meteorological Phenomena and Simulations参考文献 53被引用数 14

ひとこと要約

DINO は、空間観測を離散化に依存せずに埋め込むための暗黙的ニューラル表現（INRs）を用い、時間的ダイナミクスを学習された潜在ODEでモデル化する、データ駆動型の連続時刻空間時系列予測モデルである。このモデルは任意の空間時系列的位置への外挿を可能とし、グリッドや解像度の間での一般化、および疎・不規則・多様体ベースのデータにおいても頑健な性能を発揮する。ナビエ＝ストークス方程式、浅水域方程式、反応拡散方程式の多様な一般化シナリオにおいて、先行手法を上回る性能を示した。

ABSTRACT

Effective data-driven PDE forecasting methods often rely on fixed spatial and / or temporal discretizations. This raises limitations in real-world applications like weather prediction where flexible extrapolation at arbitrary spatiotemporal locations is required. We address this problem by introducing a new data-driven approach, DINo, that models a PDE's flow with continuous-time dynamics of spatially continuous functions. This is achieved by embedding spatial observations independently of their discretization via Implicit Neural Representations in a small latent space temporally driven by a learned ODE. This separate and flexible treatment of time and space makes DINo the first data-driven model to combine the following advantages. It extrapolates at arbitrary spatial and temporal locations; it can learn from sparse irregular grids or manifolds; at test time, it generalizes to new grids or resolutions. DINo outperforms alternative neural PDE forecasters in a variety of challenging generalization scenarios on representative PDE systems.

研究の動機と目的

• 固定された空間的・時間的離散化に依存する既存のデータ駆動型 PDE 予測手法の限界を克服すること。
• 推論時に、未学習のグリッド、解像度、不規則な多様体を含む、任意の空間的・時間的位置への一般化を可能にすること。
• 学習済みグリッド構造に依存しない連続時刻ダイナミクスを学習するモデルを開発すること。
• 気象予測などの実世界の応用で一般的な低データ、マルチスケール、適応的センシングのシナリオにおける性能と頑健性を向上させること。
• INRs、ニューラル ODE、空間時系列分離の長所を統合し、多様で一般化可能な PDE 予測を実現すること。

提案手法

• 空間観測を低次元潜在空間に埋め込むために、暗黙的ニューラル表現（INRs）を採用し、空間表現と離散化を分離する。
• 潜在状態の連続的時間的変化を、学習された潜在常微分方程式（ODE）でモデル化する。
• 空間時系列変数分離を強制する新規な INR パarameterization であるアモルティチュード変調を導入し、パラメータ数を削減するとともに一般化性能を向上させる。
• 観測された空間時系列データから潜在ダイナミクスを最適化するために、微分可能 ODE 解法器を用いてエンドツーエンドで学習する。
• 任意のグリッド、解像度、空間領域（多様体を含む）での推論を、INR の任意の空間点における評価により可能にする。
• 学習された ODE を連続時間にわたって前方に解くことで、学習期間を超えた時間外挿を可能にする。

実験結果

リサーチクエスチョン

• RQ1 固定グリッドに依存せずに、任意の空間的・時間的位置への一般化が可能なデータ駆動型 PDE 予測手法は存在するか？
• RQ2 アモルティチュード変調による空間時系列分離は、INR を用いた PDE モデルにおける一般化性能の向上とパラメータ数の削減にどのように寄与するか？
• RQ3 疎または不規則な観測グリッドで学習したモデルは、テスト時に新しいグリッドや解像度に一般化できるか？
• RQ4 潜在 ODE を用いた連続的時間モデリングは、長期間予測や高解像度時系列予測において性能をどのように向上させるか？
• RQ5 地球規模の気象予測のような応用で見られる球面多様体などの複雑な幾何構造をモデルは処理できるか？

主な発見

• DINO はナビエ＝ストークス方程式、浅水域方程式、反応拡散方程式の複数の一般化ベンチマークで、最先端の性能を達成した。
• 浅水域方程式のスーパーキューブリティカルタスクにおいて、DINO はテスト MSE を 6.466×10⁻⁴ まで低下させ、I-MP-PDE（7.240×10⁻³）を上回った。
• より細かい時間解像度のナビエ＝ストークス方程式において、DINO の ODE 解法器はテスト MSE 4.388×10⁻⁴ を達成し、補間による粗い予測（5.598×10⁻⁴）を上回った。
• DINO はグリッドと解像度の間で頑健に一般化する：MP-PDE とは異なり、5% のサブサンプリング比でも安定した性能を維持した。
• 多様体ベースのデータ（例：球面グリッド）においても強力な性能を発揮し、300 km から 150 km の解像度シフトに対しても有効であった。これは、地球物理的システムへの実用応用可能性を示している。
• アブレーションスタディにより、アモルティチュード変調が不可欠であることが確認された。これなしの DINO はベースラインを下回り、長期外挿とパラメータ効率性を実現する上でその役割が証明された。