[论文解读] Forecasting Sequential Data using Consistent Koopman Autoencoders

Omri Azencot, N. Benjamin Erichson+2 more|arXiv (Cornell University)|Mar 4, 2020

Model Reduction and Neural Networks参考文献 44被引用 31

一句话总结

这篇论文提出了一种 Consistent Koopman Autoencoder (PCL)，在潜在空间学习前向和后向 Koopman 动力学，以在高维时间序列上实现更高的准确性和稳定性，即使在有噪声的情况下。

ABSTRACT

Recurrent neural networks are widely used on time series data, yet such models often ignore the underlying physical structures in such sequences. A new class of physics-based methods related to Koopman theory has been introduced, offering an alternative for processing nonlinear dynamical systems. In this work, we propose a novel Consistent Koopman Autoencoder model which, unlike the majority of existing work, leverages the forward and backward dynamics. Key to our approach is a new analysis which explores the interplay between consistent dynamics and their associated Koopman operators. Our network is directly related to the derived analysis, and its computational requirements are comparable to other baselines. We evaluate our method on a wide range of high-dimensional and short-term dependent problems, and it achieves accurate estimates for significant prediction horizons, while also being robust to noise.

研究动机与目标

• 用物理信息结构来激励时间序列预测，而不是纯数据驱动的 RNNs。
• 引入 Consistent Koopman Autoencoder (PCL)，在潜在空间强制前向/后向动力学。
• 提供理论与经验框架，将潜在动力学的一致性与 Koopman 操作符联系起来。
• 在高维、嘈杂且短时相关的数据集上展示效率与鲁棒性。

提出的方法

• 使用自编码器将观测编码到低维潜在空间（编码器 chi_e 和解码器 chi_d）。
• 通过线性 Koopman 运算符 C 和 D，在潜在空间对前向和后向动力学建模，无偏置。
• 使用将重建、前向预测、后向预测和前向后向一致性惩罚结合在一起的损失进行训练。
• 通过基于 Koopman 的惩罚 E_con 强制一致性，将 C 与 D 联系起来以近似逆关系。
• 通过传播 C 和 D 的幂并使用 Chi 将结果映射回观测空间，允许多步预测。
• 给出前向/后向动力学连续和离散一致性的理论条件，并将其与 C, D 相关联（Eqs. 12, 15 和 Prop. 1–2）。

实验结果

研究问题

• RQ1 如何在单一架构中学习前向和后向 Koopman 动力学以进行时间序列预测？
• RQ2 哪些正则化/一致性约束能在前向与后向映射之间确保稳定且近似可逆的行为？
• RQ3 相较于现有基于 Koopman 的网络，物理约束学习 (PCL) 框架是否能提高高维数据集的预测准确性和鲁棒性？
• RQ4 连续一致性条件与离散一致性条件如何转化为实际训练惩罚？
• RQ5 在噪声下，包含后向动力学对预测质量和稳定性的影响如何？

主要发现

模型	θ	噪声	最小	最大	平均	参数数
DAE	0.8	-	0.016	0.254	0.102	0.03M
Ours	0.8	-	0.011	0.080	0.034	0.03M
DAE	0.8	true	0.062	0.563	0.232	0.03M
Ours	0.8	true	0.045	0.362	0.131	0.03M
DAE	2.4	-	0.042	0.211	0.112	0.03M
Ours	2.4	-	0.027	0.171	0.074	0.03M
DAE	2.4	true	0.191	0.521	0.316	0.03M
Ours	2.4	true	0.063	0.592	0.187	0.03M

• Consistent Koopman Autoencoder (PCL) 在高维且嘈杂的时间序列上实现了准确的长期预测。
• 联合前向 (C) 和后向 (D) Koopman 运算符并引入一致性惩罚，相较于仅前向基线，提升了稳定性和预测。
• 包含后向动力学和一致性约束，在噪声下和不同动力学体系下实现更鲁棒的预测。
• 通过特征值正则化提升稳定性，使学习到的算子谱更接近单位圆。
• 在摆动、圆柱流、曲域涡流和气候数据上的实证结果相对于 Dynamic AE (DAE) 基线和 RNNs/FFNs 表现更强。