[论文解读] DySLIM: Dynamics Stable Learning by Invariant Measure for Chaotic Systems

Yair Schiff, Zhong Wan+5 more|arXiv (Cornell University)|Feb 6, 2024

Neural Networks and Applications被引用 4

一句话总结

DySLIM 提出了一种新颖的学习框架，通过联合优化轨迹精度与系统吸引子的不变测度，使用可扩展的正则化项来处理混沌系统。该方法在长期统计精度和轨迹预测稳定性方面优于基于标准损失的方法，后者常因混沌不稳定性而发散。

ABSTRACT

Learning dynamics from dissipative chaotic systems is notoriously difficult due to their inherent instability, as formalized by their positive Lyapunov exponents, which exponentially amplify errors in the learned dynamics. However, many of these systems exhibit ergodicity and an attractor: a compact and highly complex manifold, to which trajectories converge in finite-time, that supports an invariant measure, i.e., a probability distribution that is invariant under the action of the dynamics, which dictates the long-term statistical behavior of the system. In this work, we leverage this structure to propose a new framework that targets learning the invariant measure as well as the dynamics, in contrast with typical methods that only target the misfit between trajectories, which often leads to divergence as the trajectories' length increases. We use our framework to propose a tractable and sample efficient objective that can be used with any existing learning objectives. Our Dynamics Stable Learning by Invariant Measure (DySLIM) objective enables model training that achieves better point-wise tracking and long-term statistical accuracy relative to other learning objectives. By targeting the distribution with a scalable regularization term, we hope that this approach can be extended to more complex systems exhibiting slowly-variant distributions, such as weather and climate models.

研究动机与目标

• 为解决由于正 Lyapunov 指数导致的学习混沌动力学的不稳定性，其误差随时间被放大。
• 改善耗散混沌系统学习模型的长期统计精度，这些模型在标准训练下常发生发散。
• 利用吸引子上存在的不变测度作为正则化信号，以实现稳定训练。
• 开发一种可计算、样本高效的损失函数，可与现有学习目标结合。
• 实现对天气和气候模型等复杂系统更可靠的建模，这些系统具有缓慢变化的分布。

提出的方法

• 该方法引入了 DySLIM 损失函数，将标准轨迹损失与基于 Sinkhorn 散度的正则化项相结合，以针对系统吸引子的不变测度进行优化。
• 利用学习动力学的前向映射来估计不变测度，从而通过前向映射技巧实现可微分优化。
• 该框架兼容任何自回归模型架构，并可与现有训练目标集成。
• 正则化项通过 Sinkhorn 散度实现最优传输，从而实现可扩展且稳定的优化。
• 该方法应用于 Lorenz-63、Kuramoto–Sivashinsky 和 Kolmogorov 流等系统，并对批量大小和学习率进行了消融研究。
• 不变测度从长轨迹中估计，模型在保持短期轨迹保真度的同时，被训练以匹配该测度。

(a)

实验结果

研究问题

• RQ1 对学习动力学进行与系统不变测度匹配的正则化，是否能改善混沌系统中的长期稳定性？
• RQ2 包含不变测度正则化如何影响轨迹跟踪精度和统计一致性？
• RQ3 所提出的损失函数能否高效地与现有学习目标结合，而不损害样本效率？
• RQ4 在长时程预测和统计精度方面，该方法是否优于基于 MSE 的标准训练？
• RQ5 该方法在不同复杂度和吸引子结构的混沌系统之间具有多大程度的泛化能力？

主要发现

• DySLIM 损失显著减少了轨迹发散，并提高了长期统计精度，表现为更低的 MELR 和 covRMSE 指标。
• 在 Lorenz-63 系统中，正则化模型在 256 个时间步时达到中位数余弦相似度 0.89，优于未正则化的基线模型。
• 在 Kolmogorov 流系统中，正则化模型的 MELR 为 2.34×10⁻²，而未正则化的前向映射基线模型为 4.10×10⁻²。
• 即使在大批次大小（高达 512）下，未正则化的模型仍表现出高度耗散和不稳定性，而正则化模型保持了稳定的动力学。
• 该方法在多个随机种子下实现了稳定训练，160 次运行中仅发现一个未正则化模型是稳定的。
• 该框架对超参数变化表现出鲁棒性，并在多种混沌系统（包括具有复杂吸引子的系统）中保持了高性能。

(b)