[论文解读] Dimensionality reduction for time series data

Diego Vidaurre, Iead Rezek+3 more|arXiv (Cornell University)|Jun 14, 2014

Control Systems and Identification参考文献 20被引用 3

一句话总结

本文提出了一种贝叶斯低秩多变量自回归模型（LR-MAR），用于时间序列数据的降维，通过将自回归系数矩阵近似为低秩结构，显式建模时间依赖性。该方法在捕捉动态相关性并实现降维与平滑的同时，优于传统假设数据独立同分布（i.i.d.）的主成分分析（PCA）方法，其基于变分贝叶斯推断框架，实现了更优的性能。

ABSTRACT

Despite the fact that they do not consider the temporal nature of data, classic dimensionality reduction techniques, such as PCA, are widely applied to time series data. In this paper, we introduce a factor decomposition specific for time series that builds upon the Bayesian multivariate autoregressive model and hence evades the assumption that data points are mutually independent. The key is to find a low-rank estimation of the autoregressive matrices. As in the probabilistic version of other factor models, this induces a latent low-dimensional representation of the original data. We discuss some possible generalisations and alternatives, with the most relevant being a technique for simultaneous smoothing and dimensionality reduction. To illustrate the potential applications, we apply the model on a synthetic data set and different types of neuroimaging data (EEG and ECoG).

研究动机与目标

• 为解决传统降维方法（如PCA）的局限性，这些方法假设数据点独立同分布，忽略了时间序列中的时间依赖性。
• 开发一种基于多变量自回归（MAR）动态的概率因子模型，通过自回归矩阵的低秩近似，显式建模时间相关性。
• 在保留时间结构的同时实现有效降维，并减少高维时间序列中的过拟合，尤其适用于神经影像学应用。
• 提供一个严谨的贝叶斯框架，通过变分自由能实现模型复杂度控制与超参数选择的自动相关性判定。
• 探索扩展方法，如窗口化典型相关分析（wCCA），用于同时实现平滑与降维，以及基于隐状态的依赖模型，以处理非平稳动态。

提出的方法

• 在多变量自回归（MAR）模型中对自回归系数矩阵进行低秩分解，将参数量从 $PN^2$ 降低至 $PNQ$，其中 $Q < N$。
• 采用贝叶斯公式，对自回归系数使用共轭高斯先验，以支持变分贝叶斯推断与自动相关性判定。
• 引入潜变量 $\bm{z}_t$ 表示低维状态，将观测信号 $\bm{y}_t$ 建模为过去状态的线性组合，通过低秩矩阵 $\bm{W}_i$ 和 $\bm{V}$ 实现。
• 采用变分推断与自由能目标函数，近似后验分布并完成模型选择，包括选择自回归阶数 $P$ 与潜维数 $Q$。
• 将模型推广至窗口化典型相关分析（wCCA），通过将多个滞后建模为过去数据点的线性函数，实现降维与平滑的联合处理。
• 将框架扩展至隐马尔可夫模型，其中 $\bm{W}$ 与 $\bm{V}$ 随隐状态变化，从而实现对动态模式的无监督分类。

实验结果

研究问题

• RQ1 多变量自回归模型的低秩近似是否能有效降低时间序列数据的维度，同时保留时间依赖性？
• RQ2 所提出的LR-MAR模型在捕捉时间序列中的方差与结构方面，相较于标准PCA及其他基于i.i.d.假设的因子模型表现如何？
• RQ3 基于变分推断的贝叶斯框架在高维时间序列中，能否有效实现自动模型选择与正则化？
• RQ4 通过窗口化典型相关分析（wCCA）实现的联合平滑与降维，是否在预测性能与数据紧凑性方面优于分离的预处理步骤？
• RQ5 该模型在使用隐状态依赖参数时，检测与表示动态变化的能力如何？

主要发现

• LR-MAR模型通过低秩自回归矩阵捕捉时间相关性，实现了有效的降维，在解释时间序列数据的方差方面显著优于基于i.i.d.假设的模型（如PCA）。
• 在合成数据上，该模型表现出色，能以最少的分量准确恢复真实的低维动态，并实现稳健的参数估计。
• 在真实EEG与ECoG神经影像数据上，LR-MAR提供了紧凑且有意义的低维表示，显著提升了后续监督学习任务的性能。
• 变分自由能准则成功引导了模型选择，无需外部验证即可识别最优自回归阶数 $P$ 与潜维数 $Q$。
• 窗口化CCA（wCCA）变体实现了平滑与降维的联合处理，在数据压缩与噪声抑制方面表现优异。
• 对隐状态依赖模型的扩展使模型能够检测动态模式变化，具有实现非平稳时间序列无监督分类的潜力。