[论文解读] Invariant Factorization Of Time-Series

Josif Grabocka, Lars Schmidt-Thieme|arXiv (Cornell University)|Dec 23, 2013

Time Series Analysis and Forecasting参考文献 16被引用 9

一句话总结

本文提出了一种新颖的时间序列分类方法——不变分解（INFA），通过约束优化与随机坐标下降，将时间序列分解为潜在模式与分段隶属权重。该方法基于多种滑动窗口尺寸下模式频率的总和，将序列投影到新的特征空间，其在43个UCR数据集上实现了最先进（SOTA）的分类准确率，并显著优于六种SOTA基线方法。

ABSTRACT

Time-series classification is an important domain of machine learning and a plethora of methods have been developed for the task. In comparison to existing approaches, this study presents a novel method which decomposes a time-series dataset into latent patterns and membership weights of local segments to those patterns. The process is formalized as a constrained objective function and a tailored stochastic coordinate descent optimization is applied. The time-series are projected to a new feature representation consisting of the sums of the membership weights, which captures frequencies of local patterns. Features from various sliding window sizes are concatenated in order to encapsulate the interaction of patterns from different sizes. Finally, a large-scale experimental comparison against 6 state of the art baselines and 43 real life datasets is conducted. The proposed method outperforms all the baselines with statistically significant margins in terms of prediction accuracy.

研究动机与目标

• 为解决时间序列数据中类内可变性（如时间偏移、形变和缩放）带来的挑战，这些因素会阻碍传统分类器（如SVM）的性能。
• 开发一种能稳健捕捉不同尺度与对齐方式下局部模式频率的表示方法。
• 将时间序列分解形式化为一个约束优化问题，以学习潜在模式与分段隶属关系。
• 通过组合来自多个滑动窗口尺寸的模式频率特征，提升分类准确率。
• 在UCR时间序列基准数据集上实现最先进性能。

提出的方法

• 该方法采用滑动窗口策略，将时间序列分割为重叠的局部段落。
• 将每个段落分解为潜在模式的加权组合，其中权重表示对每个模式的隶属程度。
• 将分解过程形式化为带有Tikhonov正则化的约束优化问题，以确保模式的归一化。
• 使用量身定制的随机坐标下降算法优化目标函数，平衡模式重建与正则化之间的权衡。
• 最终的特征表示通过按模式汇总隶属权重形成，以捕捉每个潜在模式在整个序列中的出现频率。
• 采用多种窗口尺寸，将各尺寸生成的频率特征进行拼接，以建模多尺度模式交互。

实验结果

研究问题

• RQ1 与现有方法相比，一种基于分解的学习潜在模式与分段隶属关系的方法是否能提升时间序列分类的准确率？
• RQ2 所提出的方法如何处理时间序列数据中的时间偏移、形变和缩放问题？
• RQ3 使用多种滑动窗口尺寸对捕捉多尺度模式交互有何影响？
• RQ4 基于模式频率的特征表示是否优于传统的距离度量方法与词袋模式方法？
• RQ5 在多样化的真实世界时间序列数据集上，该方法是否在统计上显著优于六种最先进基线方法？

主要发现

• INFA在43个UCR数据集中取得了最高的胜场数（19.37），显著优于第二名方法（胜场数为9.00）。
• 该方法在所有六种基线方法的配对比较中均表现出统计显著性提升，Wilcoxon符号秩检验的p值均≤0.05。
• INFA在UCR时间序列基准数据集上实现了最佳的公开预测准确率，树立了新的最先进性能标杆。
• 使用多种滑动窗口尺寸并拼接特征，对捕捉多尺度模式交互及提升性能至关重要。
• 该方法在大规模数据集上依然保持稳健，通过调整超参数（K=10% of Q，δ=20% of L）确保可扩展性且无性能下降。