[论文解读] From Fourier to Koopman: Spectral Methods for Long-term Time Series Prediction

Henning Lange, Steven L. Brunton+1 more|arXiv (Cornell University)|Apr 1, 2020

Model Reduction and Neural Networks参考文献 63被引用 49

一句话总结

该论文开发了用于长期预测准周期信号的谱预测方法，使用受傅里叶启发的线性振荡器方法和基于非线性Koopman的频率分解，具有不确定性量化和FFT驱动的计算。

ABSTRACT

We propose spectral methods for long-term forecasting of temporal signals stemming from linear and nonlinear quasi-periodic dynamical systems. For linear signals, we introduce an algorithm with similarities to the Fourier transform but which does not rely on periodicity assumptions, allowing for forecasting given potentially arbitrary sampling intervals. We then extend this algorithm to handle nonlinearities by leveraging Koopman theory. The resulting algorithm performs a spectral decomposition in a nonlinear, data-dependent basis. The optimization objective for both algorithms is highly non-convex. However, expressing the objective in the frequency domain allows us to compute global optima of the error surface in a scalable and efficient manner, partially by exploiting the computational properties of the Fast Fourier Transform. Because of their close relation to Bayesian Spectral Analysis, uncertainty quantification metrics are a natural byproduct of the spectral forecasting methods. We extensively benchmark these algorithms against other leading forecasting methods on a range of synthetic experiments as well as in the context of real-world power systems and fluid flows.

研究动机与目标

• 在没有精确动态模型的情况下，推动线性和非线性准周期系统的稳健长期预测，并减少误差累积。
• 开发一种基于傅里叶的线性振荡器方法，适用于任意采样区间且不需要严格的周期性。
• 通过Koopman理论扩展到非线性动力学，学习一个非线性、数据驱动的振荡基用于预测。
• 提供与谱分析相关联的不确定性度量，呈现类似贝叶斯框架的方式。
• 在合成数据和真实数据集（电力系统和流体动力学）上将所提方法与领先的预测方法进行基准比较。

提出的方法

• 建立一个线性预测模型，形式为 y_t = B y_{t-1}，x_t ≈ A y_t，特征为虚特征值以反映准周期性。
• 在频域表达时间损失，并利用FFT获得频率分量的高效全局最优解。
• 对频率变量应用坐标下降以在非凸损失表面上寻路，使用FFT进行初始化并用梯度下降进行细化。
• 推导通过残差的频率更新的解析表达式，使得可以基于FFT评估误差面。
• 解释残差傅里叶变换与平方误差之间的误差面对称性，以连接到贝叶斯谱分析概念。
• 扩展到Koopman预测，通过建模 x_t ≈ f(Ω(ω t))，使用可逆嵌入 ψ 和一个非线性、数据驱动的基；联合优化 ω 和 φ，使用FFT启发的方法进行 ω 的更新。
• 讨论与动态模态分解的联系，以及在测量噪声下所提出的方法如何实现无偏的频率估计。
• 强调谱泄漏和有限数据如何影响优化，以及逐步频率选择如何“解释消除”泄漏效应。

实验结果

研究问题

• RQ1 在没有显式动力学模型的情况下，准周期系统能否实现长期预测？
• RQ2 在打破隐式周期性的同时，如何利用FFT高效估计非凸时间序列损失中的频率？
• RQ3 与线性谱方法相比，基于非线性的Koopman频率分解是否能改善非线性动力学的预测？
• RQ4 谱预测框架自然产生哪些不确定性量化，与贝叶斯谱分析有何关系？
• RQ5 在合成数据和真实数据集上，所提方法与前沿预测技术（如ARIMA、神经网络、DMD）相比如何？

主要发现

• 一种受傅里叶启发的线性振荡器方法可以在任意采样下预测准周期信号，而不假设严格周期性。
• 使用FFT初始化的坐标下降在非凸损失前景下提供实现频率参数全局最优解的可扩展路径。
• 一种非线性的、基于Koopman的频率分解产生一个数据相关的振荡基，使非线性预测成为可能，同时利用FFT的高效性。
• 该框架产生的不确定性度量自然与贝叶斯谱分析相关联，源自谱表示和测量噪声。
• 在合成数据和真实世界的电力系统与流体力学数据上的实证基准显示长期预测性能与领先方法相竞争。
• 该方法与动态模态分解相关并互为补充，通过在谱上下文中改进线性动力学的估计。