[论文解读] Discovering Governing Equations from Partial Measurements with Deep Delay Autoencoders

Joseph Bakarji, Kathleen M. Champion+2 more|arXiv (Cornell University)|Jan 13, 2022

Model Reduction and Neural Networks被引用 12

一句话总结

本文提出了一种深度延迟自编码器框架，该框架联合学习从时延部分测量中提取坐标变换，并利用SINDy发现稀疏且可解释的控制方程。通过利用Takens嵌入定理和定制的自编码器，该方法能够从单一观测变量中重建完整动力学，成功恢复了Lorenz、Rössler和Lotka-Volterra系统，包括来自混沌水轮实验视频数据的结果。

ABSTRACT

A central challenge in data-driven model discovery is the presence of hidden, or latent, variables that are not directly measured but are dynamically important. Takens' theorem provides conditions for when it is possible to augment these partial measurements with time delayed information, resulting in an attractor that is diffeomorphic to that of the original full-state system. However, the coordinate transformation back to the original attractor is typically unknown, and learning the dynamics in the embedding space has remained an open challenge for decades. Here, we design a custom deep autoencoder network to learn a coordinate transformation from the delay embedded space into a new space where it is possible to represent the dynamics in a sparse, closed form. We demonstrate this approach on the Lorenz, Rössler, and Lotka-Volterra systems, learning dynamics from a single measurement variable. As a challenging example, we learn a Lorenz analogue from a single scalar variable extracted from a video of a chaotic waterwheel experiment. The resulting modeling framework combines deep learning to uncover effective coordinates and the sparse identification of nonlinear dynamics (SINDy) for interpretable modeling. Thus, we show that it is possible to simultaneously learn a closed-form model and the associated coordinate system for partially observed dynamics.

研究动机与目标

• 解决仅在部分测量可用时发现简洁、封闭形式动力学模型的挑战。
• 克服在坐标变换未知且复杂的时间延迟嵌入空间中学习可解释动力学的困难。
• 开发一个统一框架，联合学习有效坐标和从有限观测中得出的稀疏非线性动力学。
• 通过使用时延嵌入和深度自编码器，将基于SINDy的模型发现方法扩展到具有隐藏变量的系统。
• 在典型混沌系统和真实世界视频数据上展示该方法，包括Lorenz水轮实验。

提出的方法

• 该方法基于Takens定理，利用时延嵌入从单一测量变量中重建微分同胚吸引子。
• 训练深度自编码器以学习从时延嵌入空间到新潜在空间的非线性坐标变换，使得在该潜在空间中动力学呈现稀疏且可解释的特性。
• 通过联合优化自编码器与SINDy，强制控制方程的稀疏性，确保所学动力学为封闭形式且简洁。
• 编码器将时延嵌入的观测映射到低维潜在空间，而解码器则重建原始测量值，以最小化重建误差。
• 在潜在空间中集成SINDy以识别控制方程，即非线性基函数的稀疏组合。
• 通过吸引子展开和方差捕获等方法，基于互信息和SVD选择如嵌入维数和时延等超参数。

实验结果

研究问题

• RQ1 深度自编码器能否从时延部分测量中学习坐标变换，从而实现控制方程的稀疏识别？
• RQ2 是否能够同时从单一观测变量中发现可解释的动力学和潜在的坐标系统？
• RQ3 该方法在有限测量和噪声条件下的真实世界视频数据中，对混沌动力学的重建效果如何？
• RQ4 与顺序方法相比，自编码器与SINDy的联合优化是否能提升模型的稀疏性和准确性？
• RQ5 该框架能否推广到如视频序列所导出的复杂高维系统？

主要发现

• 该方法仅使用单一测量变量，成功恢复了Lorenz、Rössler和Lotka-Volterra系统的控制方程。
• 在Lorenz水轮实验中，该框架发现了一个与已知动力学系数匹配的三阶多项式模型，尽管帧率较低且存在测量噪声。
• 从视频数据重建的动力学呈现出与原始Lorenz吸引子一致的双叶结构，验证了该方法对真实世界数据的鲁棒性。
• 未施加SINDy约束的自编码器无法生成稀疏模型，证明了联合优化对可解释性的必要性。
• 发现最优时延增量 $ n\tau \approx 0.1 $ 最佳地展开了嵌入空间中的吸引子，从而提升了模型准确性。
• Hankel矩阵的前三个SVD模态捕获了大部分方差，指导了自编码器潜在维度的选择。