[论文解读] Early Classification of Time Series. Cost-based Optimization Criterion and Algorithms

Youssef Achenchabe, Alexis Bondu+2 more|arXiv (Cornell University)|May 20, 2020

Time Series Analysis and Forecasting参考文献 14被引用 7

一句话总结

本文提出了一种非短视的、基于成本的优化框架，用于早期时间序列分类，该框架在决策提前性与误分类风险之间实现平衡。通过利用基于置信度的监督分组和一种新颖的平均成本准则，所提出的Economy算法在多种真实世界数据集和延迟成本函数下，显著优于当前最先进的短视方法。

ABSTRACT

An increasing number of applications require to recognize the class of an incoming time series as quickly as possible without unduly compromising the accuracy of the prediction. In this paper, we put forward a new optimization criterion which takes into account both the cost of misclassification and the cost of delaying the decision. Based on this optimization criterion, we derived a family of non-myopic algorithms which try to anticipate the expected future gain in information in balance with the cost of waiting. In one class of algorithms, unsupervised-based, the expectations use the clustering of time series, while in a second class, supervised-based, time series are grouped according to the confidence level of the classifier used to label them. Extensive experiments carried out on real data sets using a large range of delay cost functions show that the presented algorithms are able to satisfactorily solving the earliness vs. accuracy trade-off, with the supervised-based approaches faring better than the unsupervised-based ones. In addition, all these methods perform better in a wide variety of conditions than a state of the art method based on a myopic strategy which is recognized as very competitive.

研究动机与目标

• 解决实时时间序列分类中提前性与准确性之间的权衡，特别是在医疗和电网等高风险应用场景中。
• 形式化一种通用的成本优化准则，同时考虑误分类成本和延迟成本。
• 开发非短视算法，以预测未来的信息增益，从而实现最优的早期决策时机选择。
• 使用真实数据集和广泛的延迟成本函数，将所提框架与当前最先进的方法进行对比评估。
• 研究非短视决策的影响，以及监督与无监督分组策略在性能上的优劣。

提出的方法

• 提出一种通用的成本优化准则，将误分类成本与延迟成本整合为单一目标函数。
• 基于聚类（无监督）和分类器置信度（监督）设计三种非短视算法——Economy-K、Economy-multi-K 和 Economy-γ，用于估计未来决策成本。
• 采用 LUPI（利用特权信息学习）框架，即在训练阶段可访问完整的时序数据，但在测试阶段仅能获取部分数据。
• 实施一种预测策略，通过评估未来成本降低的期望值与当前延迟成本的权衡，决定是否立即分类或继续等待。
• 定义一种新的评估指标 AvgCost，用于汇总测试集上的总成本（误分类 + 延迟），以评估整体性能。
• 应用 Wilcoxon 符号秩检验和 Nemenyi 检验，对不同方法和成本函数下的性能进行统计比较。

实验结果

研究问题

• RQ1 一种能够预测未来信息增益的非短视决策策略，是否能在早期时间序列分类中优于短视策略？
• RQ2 在无监督聚类与基于监督置信度的分组之间进行选择，对分类性能和提前性有何影响？
• RQ3 与现有方法相比，所提出的基于成本的优化准则在平衡提前性与准确性方面，改善程度如何？
• RQ4 所提算法的非短视特性是否是其性能优越的关键驱动因素？
• RQ5 在不同延迟成本函数和真实世界数据集上，所提算法的鲁棒性如何？

主要发现

• 所提出的非短视Economy算法在所有测试数据集和延迟成本函数下，均显著优于Mori等人（2017）提出的当前最先进的短视方法。
• 基于监督的方法（Economy-γ 和 Economy-γ-lite）在平均成本降低方面，始终优于基于无监督的方法（Economy-K 和 Economy-multi-K）。
• 非短视特性至关重要：Economy算法的短视版本性能与Mori等人（2017）的基线方法无异，表明对未来成本的预判对性能提升至关重要。
• 统计检验（Wilcoxon符号秩检验）表明，Economy方法在所有α值下均显著优于SR方法，仅在最极端的延迟成本区间（α ∈ {10⁻⁴, 2×10⁻⁴, 4×10⁻⁴}）除外。
• Nemenyi检验显示，表现最佳的Economy方法与SR方法处于统计上显著不同的组别，证实其性能更优。
• 所提出的AvgCost指标有效捕捉了提前性与准确性之间的权衡，实现了可靠且全面的方法比较。