[论文解读] Latent Dynamics Networks (LDNets): learning the intrinsic dynamics of spatio-temporal processes

Francesco Regazzoni, Stefano Pagani+3 more|arXiv (Cornell University)|Apr 28, 2023

Time Series Analysis and Forecasting被引用 5

一句话总结

该论文提出了一种名为潜在动力学网络（Latent Dynamics Networks, LDNets）的数据驱动框架，无需依赖高维嵌入或预设网格，即可学习时空系统的低维内在动力学。通过联合发现潜在流形并利用ODE-Net或LSTM建模动力学，LDNets在一项具有挑战性的非线性问题上实现了最先进精度，参数量减少10倍，归一化误差降低5倍。

ABSTRACT

Predicting the evolution of systems that exhibit spatio-temporal dynamics in response to external stimuli is a key enabling technology fostering scientific innovation. Traditional equations-based approaches leverage first principles to yield predictions through the numerical approximation of high-dimensional systems of differential equations, thus calling for large-scale parallel computing platforms and requiring large computational costs. Data-driven approaches, instead, enable the description of systems evolution in low-dimensional latent spaces, by leveraging dimensionality reduction and deep learning algorithms. We propose a novel architecture, named Latent Dynamics Network (LDNet), which is able to discover low-dimensional intrinsic dynamics of possibly non-Markovian dynamical systems, thus predicting the time evolution of space-dependent fields in response to external inputs. Unlike popular approaches, in which the latent representation of the solution manifold is learned by means of auto-encoders that map a high-dimensional discretization of the system state into itself, LDNets automatically discover a low-dimensional manifold while learning the latent dynamics, without ever operating in the high-dimensional space. Furthermore, LDNets are meshless algorithms that do not reconstruct the output on a predetermined grid of points, but rather at any point of the domain, thus enabling weight-sharing across query-points. These features make LDNets lightweight and easy-to-train, with excellent accuracy and generalization properties, even in time-extrapolation regimes. We validate our method on several test cases and we show that, for a challenging highly-nonlinear problem, LDNets outperform state-of-the-art methods in terms of accuracy (normalized error 5 times smaller), by employing a dramatically smaller number of trainable parameters (more than 10 times fewer).

研究动机与目标

• 开发一种数据驱动方法，无需依赖高维表示，即可发现非马尔可夫时空系统的低维内在动力学。
• 在降低计算成本和模型复杂度的前提下，实现对复杂非线性系统的时间外推预测的高精度。
• 通过实现无网格、逐点推理并共享权重，消除对预设空间网格的依赖。
• 通过联合学习潜在流形与动力学，避免在高维空间中进行自编码器重建，从而提升泛化能力和训练效率。
• 在基准非线性时空问题上，超越现有代理建模技术在精度和参数效率方面的表现。

提出的方法

• LDNets采用两阶段训练流程：首先训练一个自编码器将系统状态映射到潜在空间，但推理阶段会丢弃该编码器。
• 动力学网络以ODE-Net或LSTM实现，从输入轨迹中学习潜在状态的时间演化，而无需访问原始高维数据。
• 在第三阶段通过端到端联合优化动力学网络与解码器网络，使用最小化训练数据重建误差的损失函数进行训练。
• 该框架为无网格结构：在域内任意查询点进行预测，支持空间位置间的权重共享，避免基于网格的离散化。
• 对动力学和解码器权重施加正则化，以提升泛化能力并防止过拟合。
• 该方法避免使用侵入式投影技术，且无需掌握控制方程，适用于具有复杂非线性行为的系统。

实验结果

研究问题

• RQ1 数据驱动模型能否在不重建高维空间中完整状态的前提下，学习到时空系统的内在低维动力学？
• RQ2 在非线性、非马尔可夫系统中，LDNets在精度和参数效率方面与最先进方法相比表现如何？
• RQ3 LDNets在超出训练时间范围的时间外推场景中，其泛化能力在多大程度上得以体现？
• RQ4 与基于网格的方法相比，LDNets的无网格、逐点预测能力是否能提升泛化性能并降低计算成本？
• RQ5 对动力学和解码器网络进行端到端微调是否能进一步提升预测精度？

主要发现

• 在高度非线性的时空问题上，LDNets的归一化误差比最先进方法小5倍。
• 该模型使用的可训练参数比竞争方法多出10倍以上，显著降低了模型复杂度。
• LDNets展现出强大的泛化能力，尤其在需要长期预测的时间外推场景中表现突出。
• 与两阶段基线相比，端到端微调阶段（AE/ODE-e2e 和 AE/LSTM-e2e）进一步提升了预测精度。
• 无网格架构支持在任意空间点高效实现权重共享推理，增强了灵活性与可扩展性。
• 该方法在精度和参数效率方面均优于传统侵入式降模方法和非侵入式数据驱动代理模型。