[论文解读] Koopman Neural Forecaster for Time Series with Temporal Distribution Shifts

Rui Wang, Yihe Dong+2 more|arXiv (Cornell University)|Oct 7, 2022

Model Reduction and Neural Networks被引用 6

一句话总结

本文提出Koopman神经预测器（KNF），一种利用Koopman理论的深度学习模型，旨在提升在时间分布变化下的时间序列预测性能。通过结合可学习系数与预定义的测量函数，采用全局与局部Koopman算子，并引入反馈回路实现动态自适应，KNF在非平稳数据集（如M4、加密货币收益和NBA球员轨迹）上实现了最先进性能，同时通过谱分解实现可解释性分析。

ABSTRACT

Temporal distributional shifts, with underlying dynamics changing over time, frequently occur in real-world time series and pose a fundamental challenge for deep neural networks (DNNs). In this paper, we propose a novel deep sequence model based on the Koopman theory for time series forecasting: Koopman Neural Forecaster (KNF) which leverages DNNs to learn the linear Koopman space and the coefficients of chosen measurement functions. KNF imposes appropriate inductive biases for improved robustness against distributional shifts, employing both a global operator to learn shared characteristics and a local operator to capture changing dynamics, as well as a specially-designed feedback loop to continuously update the learned operators over time for rapidly varying behaviors. We demonstrate that \ours{} achieves superior performance compared to the alternatives, on multiple time series datasets that are shown to suffer from distribution shifts.

研究动机与目标

• 解决在具有连续时间分布变化的时间序列中进行长期预测的挑战，现有深度学习模型因非平稳性而难以应对此问题。
• 通过Koopman理论嵌入归纳偏置，提升在非平稳环境中的鲁棒性与泛化能力。
• 通过Koopman算子的谱分析，实现对复杂演化动态的可解释建模。
• 开发一种反馈机制，持续更新Koopman算子以适应快速变化的数据分布。
• 在真实世界非平稳时间序列基准上超越现有深度学习与统计模型。

提出的方法

• KNF采用混合架构，结合编码器-解码器网络与作用于预定义测量函数（如多项式、指数函数）的Koopman算子，以线性方式建模非线性动态。
• 引入全局Koopman算子以捕捉时间序列间共享的长期模式，同时引入局部Koopman算子以适应短期、分布特定的变化。
• 通过可学习系数将时间序列投影到Koopman空间，实现在提升空间中的线性动态，同时保持非线性表达能力。
• 反馈回路基于预测误差持续更新Koopman算子，使模型在无需重新训练的情况下适应非平稳动态。
• 方法中整合了可逆实例归一化（ReVIN），以稳定训练并提升在分布变化下的泛化能力。
• 对Koopman算子进行谱分析，通过识别对应趋势、季节性或振荡行为的主导特征值与特征函数，实现可解释性。

实验结果

研究问题

• RQ1 Koopman理论能否与深度学习有效结合，以建模具有时间分布变化的非平稳时间序列？
• RQ2 预定义的测量函数与可学习系数在分布变化下的低样本场景中，如何提升泛化能力？
• RQ3 双算子结构（全局+局部）在建模共享与演化动态方面的增强程度如何？
• RQ4 反馈回路在持续分布变化下维持长期预测准确性的有效性如何？
• RQ5 Koopman算子的谱分析能否提供关于底层时间序列动态的有意义且可解释的洞察？

主要发现

• KNF在M4数据集上实现最先进性能，当使用全部组件（包括反馈与全局算子）时，周度子集的sMAPE降低至7.254。
• 消融实验表明，加入ReVIN、全局算子与反馈回路均显著提升基线模型性能（sMAPE：14.175 → 7.254）。
• 移除反馈回路的模型在数步后预测精度迅速下降，证明反馈回路在长期鲁棒性中的关键作用。
• KNF能通过单个特征函数成功重构时间序列，部分特征函数捕捉趋势，另一些则建模季节性，验证了谱分析的可解释性。
• 在合成振荡系统中，KNF在不同初始条件与多项式字典下均表现出良好泛化能力，验证了其学习已知动态的能力。
• 在具有挑战性的非平稳数据集（如加密货币收益预测与NBA球员轨迹预测）上，KNF优于强基线模型，证实了其实际应用价值。