[论文解读] State Space Reconstruction for Multivariate Time Series Prediction

Ilias Vlachos, Dimitris Kugiumtzis|ArXiv.org|Sep 12, 2008

Neural Networks and Applications参考文献 1被引用 10

一句话总结

本文提出并比较了两种用于非线性时间序列预测中多变量状态空间重构的方法：虚假近邻（FNN2）与预测误差最小化（PEM）。结果表明，尽管PEM在预测性能上更优，但常导致过拟合及嵌入维数不一致；而FNN2则能提供更一致、更低维的嵌入，更准确反映系统的真实自由度。

ABSTRACT

In the nonlinear prediction of scalar time series, the common practice is to reconstruct the state space using time-delay embedding and apply a local model on neighborhoods of the reconstructed space. The method of false nearest neighbors is often used to estimate the embedding dimension. For prediction purposes, the optimal embedding dimension can also be estimated by some prediction error minimization criterion. We investigate the proper state space reconstruction for multivariate time series and modify the two abovementioned criteria to search for optimal embedding in the set of the variables and their delays. We pinpoint the problems that can arise in each case and compare the state space reconstructions (suggested by each of the two methods) on the predictive ability of the local model that uses each of them. Results obtained from Monte Carlo simulations on known chaotic maps revealed the non-uniqueness of optimum reconstruction in the multivariate case and showed that prediction criteria perform better when the task is prediction.

研究动机与目标

• 解决非线性时间序列预测中多变量状态空间重构缺乏一致且最优方法的问题。
• 评估传统单变量嵌入准则——虚假近邻（FNN）与预测误差最小化（PEM）——能否有效扩展至多变量系统。
• 评估不同多变量系统与数据条件下嵌入维数选择的预测性能与一致性。
• 研究多变量非线性动力学中嵌入维数与预测精度之间的权衡。
• 探讨样本量、耦合强度与系统复杂度对嵌入选择可靠性的影响。

提出的方法

• 通过在各变量间测试所有可能的嵌入维数组合（FNN2），将虚假近邻（FNN）方法扩展至多变量时间序列，旨在识别能展开吸引子的最小嵌入。
• 实施基于预测误差的预测误差最小化（PEM）准则，依据样本外预测误差选择嵌入维数，以优化预测准确性。
• 在已知混沌系统（如耦合Hénon映射、驱动-响应系统）上进行蒙特卡洛模拟，系统参数包括不同维度、耦合强度与样本量，以比较两种方法。
• 对每次模拟，评估k个时间序列的选定嵌入向量（m₁, m₂, ..., mₖ），其中mᵢ为第i个变量的嵌入维数。
• 在重构的状态空间上应用局部预测模型，并使用测试集计算预测误差以评估性能。
• 比较FNN2与PEM在嵌入维数选择、预测误差等方面的差异，以评估一致性、过拟合与预测能力。

实验结果

研究问题

• RQ1 虚假近邻方法能否有效扩展至多变量时间序列，以找到最小且一致的嵌入维数？
• RQ2 在多变量非线性系统中，预测误差最小化（PEM）准则是否能提供比FNN2更准确的预测？
• RQ3 样本量与耦合强度如何影响嵌入维数选择方法的一致性与性能？
• RQ4 PEM在多大程度上因选择过高的嵌入维数而导致过拟合？
• RQ5 多变量系统中是否存在多个最优嵌入结构？它们如何影响预测性能？

主要发现

• 在所有测试系统与条件下，预测误差最小化（PEM）在预测准确性方面始终优于FNN2。
• PEM常选择高于实际需要的嵌入维数，表明其存在过拟合倾向，且随样本量增加，嵌入维数选择的一致性下降。
• FNN2能提供更一致且更低维的嵌入，更准确反映系统内在的自由度，尤其在具有已知动力学特性的系统中表现更优。
• 在小样本量与中等耦合强度条件下，FNN2在选择稳定嵌入结构方面比PEM更可靠，尤其在k=3与k=4的耦合Hénon映射格点系统中。
• FNN2与PEM均常选择多个最优嵌入向量，表明多变量系统中最优重构具有非唯一性。
• 向时间序列添加噪声会导致FNN2与PEM在等价嵌入（如(2,0)、(0,2)、(1,1)）间随机选择，凸显嵌入选择对噪声的敏感性。