[论文解读] Continuous PDE Dynamics Forecasting with Implicit Neural Representations

Yuan Yin, Matthieu Kirchmeyer+3 more|arXiv (Cornell University)|Sep 29, 2022

Meteorological Phenomena and Simulations参考文献 53被引用 14

一句话总结

DINO 是一种数据驱动的连续时间时空预测模型，用于偏微分方程（PDEs），利用隐式神经表示（INRs）将空间观测结果独立于离散化进行嵌入，同时通过学习的潜在常微分方程（ODE）建模时间动态。该方法可实现对任意时空位置的外推，具备在不同网格或分辨率下的泛化能力，并在稀疏、不规则或基于流形的数据上表现出稳健性能，在纳维-斯托克斯方程、浅水方程和反应-扩散方程等多种通用场景下优于先前方法。

ABSTRACT

Effective data-driven PDE forecasting methods often rely on fixed spatial and / or temporal discretizations. This raises limitations in real-world applications like weather prediction where flexible extrapolation at arbitrary spatiotemporal locations is required. We address this problem by introducing a new data-driven approach, DINo, that models a PDE's flow with continuous-time dynamics of spatially continuous functions. This is achieved by embedding spatial observations independently of their discretization via Implicit Neural Representations in a small latent space temporally driven by a learned ODE. This separate and flexible treatment of time and space makes DINo the first data-driven model to combine the following advantages. It extrapolates at arbitrary spatial and temporal locations; it can learn from sparse irregular grids or manifolds; at test time, it generalizes to new grids or resolutions. DINo outperforms alternative neural PDE forecasters in a variety of challenging generalization scenarios on representative PDE systems.

研究动机与目标

• 解决现有数据驱动 PDE 预测方法依赖固定空间和时间离散化所带来的局限性。
• 在推理阶段实现对任意空间和时间位置的泛化，包括未见过的网格、分辨率和不规则流形。
• 开发一种学习连续时间动态的模型，且其学习过程独立于训练时的网格结构。
• 在真实应用场景（如天气预报）中常见的低数据、多尺度和自适应传感场景下，提升性能与鲁棒性。
• 结合 INRs、神经 ODE 和时空分离的优势，实现多功能、可泛化的 PDE 预测。

提出的方法

• 利用隐式神经表示（INRs）将空间观测结果编码到低维潜在空间中，实现空间表征与离散化的解耦。
• 通过学习的潜在常微分方程（ODE）建模潜在状态的连续时间演化。
• 引入幅度调制——一种新型 INR 参数化方法，强制实现变量的时空分离，降低参数量并提升泛化能力。
• 使用可微分 ODE 求解器端到端训练，从观测的时空数据中优化潜在动态。
• 通过在任意空间点上评估 INR，支持在任意网格、分辨率和空间域（包括流形）上进行推理。
• 通过在连续时间内向前求解学习到的 ODE，实现对训练时间范围之外的时间外推。

实验结果

研究问题

• RQ1 数据驱动的 PDE 预测模型是否能在不依赖固定网格的前提下，泛化到任意空间和时间位置？
• RQ2 通过幅度调制实现的时空分离，如何提升 INR 基础 PDE 模型的泛化能力并减少参数量？
• RQ3 在稀疏或不规则观测网格上进行训练的模型，是否能在测试阶段泛化到新的网格或分辨率？
• RQ4 通过潜在 ODE 实现的连续时间建模，如何提升长时序或高分辨率时间序列预测的性能？
• RQ5 该模型能否处理复杂几何结构（如球形流形），例如在地球尺度天气预测中的应用？

主要发现

• DINO 在纳维-斯托克斯方程、浅水方程和反应-扩散方程上，于多个泛化基准测试中达到最先进性能。
• 在浅水方程超分辨率任务中，DINO 将测试均方误差降低至 6.466×10⁻⁴，优于 I-MP-PDE 的 7.240×10⁻³。
• 在时间分辨率更高的纳维-斯托克斯方程任务中，DINO 的 ODE 求解器实现测试均方误差为 4.388×10⁻⁴，优于插值后的粗分辨率预测（5.598×10⁻⁴）。
• DINO 在不同网格和分辨率间表现出稳健的泛化能力：即使在 5% 采样率下仍保持稳定性能，而 MP-PDE 明显退化。
• 该模型在基于流形的数据（如球形网格）上表现优异，实现从 300 公里到 150 公里的分辨率迁移，证明其在真实地球物理系统中的适用性。
• 消融研究证实幅度调制至关重要——不使用该机制的 DINO 性能低于基线模型，证明其在实现长期外推和参数效率方面的作用。