[论文解读] Koopa: Learning Non-stationary Time Series Dynamics with Koopman Predictors

Yong Liu, Chenyu Li+2 more|arXiv (Cornell University)|May 30, 2023

Model Reduction and Neural Networks被引用 37

一句话总结

Koopa 引入带有傅里叶滤波的模块化 Koopman 预测器，用以分离时间不变和时间变动的动力学，以用于非平稳时间序列预测，在显著提升效率的同时实现具有竞争力的准确性。

ABSTRACT

Real-world time series are characterized by intrinsic non-stationarity that poses a principal challenge for deep forecasting models. While previous models suffer from complicated series variations induced by changing temporal distribution, we tackle non-stationary time series with modern Koopman theory that fundamentally considers the underlying time-variant dynamics. Inspired by Koopman theory of portraying complex dynamical systems, we disentangle time-variant and time-invariant components from intricate non-stationary series by Fourier Filter and design Koopman Predictor to advance respective dynamics forward. Technically, we propose Koopa as a novel Koopman forecaster composed of stackable blocks that learn hierarchical dynamics. Koopa seeks measurement functions for Koopman embedding and utilizes Koopman operators as linear portraits of implicit transition. To cope with time-variant dynamics that exhibits strong locality, Koopa calculates context-aware operators in the temporal neighborhood and is able to utilize incoming ground truth to scale up forecast horizon. Besides, by integrating Koopman Predictors into deep residual structure, we ravel out the binding reconstruction loss in previous Koopman forecasters and achieve end-to-end forecasting objective optimization. Compared with the state-of-the-art model, Koopa achieves competitive performance while saving 77.3% training time and 76.0% memory.

研究动机与目标

• 使用 Koopman 理论分离非平稳时间序列中的时间变动和时间不变动力学。
• 开发一个模块化、分层的基于 Koopman 的预测器（Koopa），使用傅里叶滤波器分离动力学。
• 通过将 Koopman Predictors 集成到深度残差结构中，实现端到端的预测。
• 通过利用全局共享和局部适配算子来提升预测时域的扩展性。

提出的方法

• 使用傅里叶滤波将输入分割为时间不变（X_inv）和时间变动（X_var）分量。
• 实现时间不变的 KP，以学习全局 Koopman 嵌入和线性算子（K_inv）。
• 实现时间变动的 KP，在回看窗口内使用分段嵌入来计算局部算子（K_var）。
• 堆叠 Koopa Block，以通过将残差输入到后续块并求和输出来学习分层动力学。
• 使用对 Y 和真实值的端到端均方误差目标进行训练，以避免 Koopman 自编码器中常见的重构损失。
• 通过冻结已学习的组件并用输入的真实快照来适配 K_var，来实现更长预测时域的扩展。

实验结果

研究问题

• RQ1 基于 Koopman 的预测器能否在非平稳时间序列中有效分离并建模时间不变和时间变动的动力学？
• RQ2 与最先进方法相比，模块化、分层的 Koopman 预测器是否能提升预测性能和效率？
• RQ3 通过利用对真实值自适应的算子更新，模型是否能够扩展到更长的预测时域？
• RQ4 基于傅里叶分解的分离在捕捉变化的时序依赖性方面有何影响？
• RQ5 在真实世界数据集上，Koopa 与现有的基于 Koopman 的预测器和深度学习基线相比如何？

主要发现

• Koopa 在六个真实世界的多变量基准测试中实现具有竞争力的预测性能，并在 M4 上显示出较强的单变量结果。
• Koopa 提供显著的效率提升，相较 PatchTST，在所有数据集上的训练时间平均节省 22.7%，内存平均减少 24.0%。
• 时间变动和时间不变的 KP 组件是互补的；去除任一都会降低性能。
• 基于傅里叶滤波的分离显示时间变动分量的变化性更高，支持该设计选择。
• 基于真实值驱动的算子自适应机制提升了时域扩展性，尤其在非平稳数据上效果显著。