[论文解读] Tipping Point Forecasting in Non-Stationary Dynamics on Function Spaces

Miguel Liu-Schiaffini, Clare E. Singer+5 more|arXiv (Cornell University)|Aug 17, 2023

Ecosystem dynamics and resilienceEnvironmental Science被引用 3

一句话总结

本文提出了一种循环神经算子（RNO），通过函数空间学习与预测校准，实现对非平稳动力系统中临界点的预测。该方法仅在临界点发生前的数据上进行训练，并通过监测物理约束的偏离情况，实现对诸如气候模型中层积云覆盖崩溃等突发、不可逆变化的精确预测，同时提供严格的不确定性量化，在混沌常微分方程（ODE）与偏微分方程（PDE）上优于以往方法。

ABSTRACT

Tipping points are abrupt, drastic, and often irreversible changes in the evolution of non-stationary and chaotic dynamical systems. For instance, increased greenhouse gas concentrations are predicted to lead to drastic decreases in low cloud cover, referred to as a climatological tipping point. In this paper, we learn the evolution of such non-stationary dynamical systems using a novel recurrent neural operator (RNO), which learns mappings between function spaces. After training RNO on only the pre-tipping dynamics, we employ it to detect future tipping points using an uncertainty-based approach. In particular, we propose a conformal prediction framework to forecast tipping points by monitoring deviations from physics constraints (such as conserved quantities and partial differential equations), enabling forecasting of these abrupt changes along with a rigorous measure of uncertainty. We illustrate our proposed methodology on non-stationary ordinary and partial differential equations, such as the Lorenz-63 and Kuramoto-Sivashinsky equations. We also apply our methods to forecast a climate tipping point in stratocumulus cloud cover and airfoil wake and stall transitions using only limited knowledge of the governing equations. For the latter, we show that our proposed method zero-shot generalizes to forecasting multiple future tipping points under varying Reynolds numbers. In our experiments, we demonstrate that even partial or approximate physics constraints can be used to accurately forecast future tipping points.

研究动机与目标

• 解决传统数值方法计算成本高昂、数据驱动模型缺乏物理解释性的问题，以应对在非平稳、混沌动力系统中预测突发、不可逆变化（临界点）的挑战。
• 开发一种与离散化无关的架构，能够学习无限维函数空间之间的映射，克服标准RNN与固定离散化模型的局限性。
• 仅使用临界点发生前的数据实现临界点预测，避免依赖临界点后的数据或对完整系统知识的依赖。
• 通过预测校准将物理约束（如守恒律、PDE残差）整合进不确定性量化，确保对模型误差的鲁棒性。
• 在包括Lorenz-63系统、Kuramoto-Sivashinsky PDE以及层积云覆盖的气候模型在内的多种混沌系统中，验证方法的泛化能力。

提出的方法

• 提出一种循环神经算子（RNO），一种神经算子架构，通过潜在状态函数编码历史动态，学习函数空间之间的带记忆映射。
• 仅在临界点发生前的系统状态数据上训练RNO，使其能够在无需临界点后数据的情况下，学习非平稳系统的底层演化算子。
• 采用一种预测校准框架，通过监测物理约束的偏离（如守恒量、PDE残差）来量化临界点预测的不确定性。
• 在预测校准设置中，使用基于偏微分方程和守恒律的物理信息损失函数作为校准度量。
• 利用基于傅里叶的神经算子层，高效近似非线性积分算子，实现高效且与离散化无关的函数空间学习。
• 采用渐进式训练策略，逐步增加自回归步数 $M$ 和预热时间间隔 $N_{ au}$，以稳定训练并提升长时序预测性能。

实验结果

研究问题

• RQ1 仅在临界点发生前的动力学数据上进行训练的数据驱动模型，能否对非平稳混沌系统中的临界点实现可靠不确定性估计的预测？
• RQ2 当底层模型存在不完美或近似时，基于物理约束的预测校准框架在检测临界点方面的有效性如何？
• RQ3 在物理约束近似或不完整（如部分PDE或守恒律缺失）的情况下，该方法在多大程度上仍能实现准确的临界点预测？
• RQ4 与标准RNN和马尔可夫神经算子相比，RNO架构在学习函数空间上的长记忆、非平稳动力学方面表现如何？
• RQ5 所提出的方法能否泛化至现实世界复杂系统，如涉及层积云覆盖崩溃的气候模型？

主要发现

• RNO在预测Lorenz-63与Kuramoto-Sivashinsky等非平稳混沌系统长期动力学方面，性能显著优于标准RNN与最先进的MNO，提升达数个数量级。
• 该方法仅使用临界点前的数据与物理约束，成功将层积云覆盖模型的临界点预测提前达64秒。
• 即使在物理约束部分或近似的情况下，预测校准框架仍能保持高度可靠的不确定性量化与准确的临界点检测能力。
• RNO架构对超参数 $N_{ au}$（预热时间间隔）的选择具有鲁棒性，当 $N_{ au}$ 在3至10之间变化时，性能保持稳定。
• 当层数 $L$ 超过5–10层后，性能增益逐渐减弱，宽度增加对性能影响微小，表明模型具有高效的可扩展性。
• 该方法在简单动力学下仅需1,000对训练样本即可实现准确预测，复杂系统最多需10,000对，表明其在科学建模任务中具备可扩展的数据效率。