[论文解读] A Latent Source Model for Nonparametric Time Series Classification

George H. Chen, Stanislav Nikolov+1 more|arXiv (Cornell University)|Feb 14, 2013

Time Series Analysis and Forecasting参考文献 20被引用 46

一句话总结

本文提出了一种用于非参数时间序列分类的潜在源模型，其中时间序列由少量隐藏的原型源生成。通过非渐近误差界证明了最近邻和加权多数投票分类器的合理性，表明在仅有限观测时间序列的情况下也能实现高精度，并在真实Twitter话题趋势中实现了79%的早期检测率，真阳性率为95%，假阳性率为4%。

ABSTRACT

For classifying time series, a nearest-neighbor approach is widely used in practice with performance often competitive with or better than more elaborate methods such as neural networks, decision trees, and support vector machines. We develop theoretical justification for the effectiveness of nearest-neighbor-like classification of time series. Our guiding hypothesis is that in many applications, such as forecasting which topics will become trends on Twitter, there aren't actually that many prototypical time series to begin with, relative to the number of time series we have access to, e.g., topics become trends on Twitter only in a few distinct manners whereas we can collect massive amounts of Twitter data. To operationalize this hypothesis, we propose a latent source model for time series, which naturally leads to a "weighted majority voting" classification rule that can be approximated by a nearest-neighbor classifier. We establish nonasymptotic performance guarantees of both weighted majority voting and nearest-neighbor classification under our model accounting for how much of the time series we observe and the model complexity. Experimental results on synthetic data show weighted majority voting achieving the same misclassification rate as nearest-neighbor classification while observing less of the time series. We then use weighted majority to forecast which news topics on Twitter become trends, where we are able to detect such "trending topics" in advance of Twitter 79% of the time, with a mean early advantage of 1 hour and 26 minutes, a true positive rate of 95%, and a false positive rate of 4%.

研究动机与目标

• 为最近邻类分类器在时间序列分类中表现出的强经验性能提供理论依据。
• 将时间序列建模为源自少量潜在原型源的结果，反映现实世界应用中如趋势预测的约束条件。
• 为分类建立非渐近性能保证，同时考虑训练数据规模和观测时间序列的数量。
• 展示加权多数投票和最近邻分类在预测Twitter热门话题方面的有效性。

提出的方法

• 提出一种潜在源模型，其中每个时间序列由m个未知潜在源中的一个生成，每个源具有二元标签（例如，是否为趋势）。
• 推导一种最大后验概率（MAP）分类器，其近似于加权多数投票，其中每个训练时间序列根据其与测试时间序列的相似度赋予投票权重。
• 通过将测试序列与滑动窗口大小为T的所有训练序列进行比较，近似加权多数投票，从而实现最近邻分类器。
• 对原始Twitter活跃度数据进行平滑和对数变换，以构建捕捉话题传播动态的时间序列特征。
• 应用一种决策规则，将观测到的时间序列与所有长度为T的训练时间序列片段进行比较，使用固定相似度阈值Δ_max。
• 在截断的h小时活动窗口上进行训练：对于趋势，窗口以趋势出现时刻为中心；对于非趋势，随机采样。

实验结果

研究问题

• RQ1 在何种条件下，最近邻类分类器能在仅有限观测时间序列的情况下实现高分类准确率？
• RQ2 具有少量原型时间序列的潜在源模型是否能解释非参数分类器的强经验性能？
• RQ3 观测时间序列数据的数量如何影响非参数时间序列分类中的误分类率？
• RQ4 加权多数投票或最近邻分类能在多大程度上提前于Twitter官方声明检测到热门话题？

主要发现

• 在合成实验中，加权多数投票分类器在观测更少时间序列的情况下，实现了与最近邻分类器相同的误分类率。
• 在真实Twitter数据中，该方法在Twitter官方列表发布前79%的时间检测到热门话题，平均提前1小时26分钟。
• 在真实世界趋势预测中，该方法实现了95%的真阳性率和4%的假阳性率。
• 通过参数设置可调节检测速度、真阳性率和假阳性率之间的权衡，中间参数设置可平衡三项指标。
• ROC曲线包络显示，最佳可实现性能为在假阳性率为4%时达到95%的真阳性率，表明模型具有强鲁棒性。
• 即使在排除新闻相关推文的训练数据中，结果仍保持一致，尽管早期检测略有延迟，证实了该方法的泛化能力。