[论文解读] Autoregressive Kernels For Time Series

Marco Cuturi, Randal Douc|arXiv (Cornell University)|Jan 4, 2011

Blind Source Separation Techniques参考文献 47被引用 33

一句话总结

本论文通过利用向量自回归（VAR）模型的似然函数作为特征，并结合矩阵正态逆Wishart先验进行积分，提出了一类自回归核（$k_{\text{ar}}$ 和 $k_{\text{ar}}^{\kappa}$），以确保核矩阵的正定性。该方法实现了对可变长度时间序列（包括结构化数据）的高效、可扩展的核计算，在分类任务中表现优异，且计算成本显著低于其他方法。

ABSTRACT

We propose in this work a new family of kernels for variable-length time series. Our work builds upon the vector autoregressive (VAR) model for multivariate stochastic processes: given a multivariate time series x, we consider the likelihood function p_θ(x) of different parameters θin the VAR model as features to describe x. To compare two time series x and x', we form the product of their features p_θ(x) p_θ(x') which is integrated out w.r.t θusing a matrix normal-inverse Wishart prior. Among other properties, this kernel can be easily computed when the dimension d of the time series is much larger than the lengths of the considered time series x and x'. It can also be generalized to time series taking values in arbitrary state spaces, as long as the state space itself is endowed with a kernel κ. In that case, the kernel between x and x' is a a function of the Gram matrices produced by κon observations and subsequences of observations enumerated in x and x'. We describe a computationally efficient implementation of this generalization that uses low-rank matrix factorization techniques. These kernels are compared to other known kernels using a set of benchmark classification tasks carried out with support vector machines.

研究动机与目标

• 开发一种适用于可变长度多变量时间序列的正定核，支持SVM等核机器方法。
• 通过在数据结构上使用基础核 $\kappa$ 对核进行泛化，以处理图像、图等结构化对象的时间序列。
• 确保计算效率，特别是在时间序列维度 $d$ 相对于序列长度较大时。
• 克服现有核方法（如DTW）的局限性，后者并非天然正定，且需额外正则化处理。
• 建立一个基于指数族模型与无限可分性的原则化、概率基础的时间序列核设计框架。

提出的方法

• 核 $k_{\text{ar}}$ 定义为在参数空间 $\theta$ 上对VAR似然函数 $p_{\theta}(\mathbf{x}) \cdot p_{\theta}(\mathbf{x}')$ 的乘积进行积分，使用矩阵正态逆Wishart先验以确保正定性。
• 核 $k_{\text{ar}}^{\kappa}$ 通过将标量观测替换为数据结构上的核矩阵 $\mathcal{K} = [\kappa(x_i, x_j')]$（其中 $\kappa$ 是数据结构上的基础核）来推广 $k_{\text{ar}}$，以处理结构化数据。
• 采用低秩矩阵分解近似 $k_{\text{ar}}^{\kappa}$ 中的Gram矩阵，从而在避免计算行列式高成本的同时实现高效计算。
• 该方法确保了核的无限可分性，这对核机器和希尔伯特空间嵌入的实际应用至关重要。
• 对特征映射 $\varphi_{\text{var}}$ 和 $\varphi_{\text{var}}^{\kappa}$ 进行归一化，使其对数可直接用作希尔伯特距离。
• 该方法基于Seeger（2002）的协方差核框架，通过动态的概率建模将其扩展至时间序列。

实验结果

研究问题

• RQ1 能否通过贝叶斯积分使基于VAR模型似然的核具有正定性，从而适用于核机器？
• RQ2 如何通过基础核 $\kappa$ 将此类核推广至处理图像或图等结构化数据的时间序列？
• RQ3 与现有方法（如全局对齐核或基于DTW的方法）相比，所提核的计算效率如何？
• RQ4 该核在显著快于竞争方法的同时，是否仍保持较强的分类性能？
• RQ5 当自由度 $\lambda > d-1$ 时，核的无限可分性是否在不同超参数设置下仍能保持？

主要发现

• 自回归核 $k_{\text{ar}}$ 在一个玩具数据集上实现零测试误差，分类准确率优于其他核方法。
• 在基准数据集上，$k_{\text{ar}}$ 的表现优于常被视为强基线的全局对齐核。
• 核 $k_{\text{ar}}$ 计算效率高，其平均评估时间显著低于 $k_{\text{GA}}^{\kappa}$，尤其在大规模数据集上优势明显。
• $k_{\text{ar}}^{\kappa}$ 中 $\varphi_{\text{var}}^{\kappa}$ 的低秩近似可通过参数 $\tau$ 调节精度，在高精度设置下对性能影响极小。
• 尽管计算成本较高，$k_{\text{ar}}^{\kappa}$ 在处理视频片段等结构化数据（如时变直方图）时可能具有特殊优势。
• 作者指出，当 $\kappa$ 为高维数据上的高斯核时，$k_{\text{ar}}^{\kappa}$ 的结果可能与 $k_{\text{ar}}$ 相似，这是由于Gram矩阵的谱相似性所致，暗示在某些场景下可能存在冗余。