[论文解读] A tale of two toolkits, report the third: on the usage and performance of HIVE-COTE v1.0

Anthony Bagnall, Michael Flynn+3 more|arXiv (Cornell University)|Apr 13, 2020

Time Series Analysis and Forecasting参考文献 21被引用 14

一句话总结

本论文提出 HIVE-COTE v1.0，一种可扩展且可配置的异质集成时间序列分类方法，通过移除原始 HIVE-COTE 中较慢的 Elastic Ensemble 并减少 STC 中的形状片段枚举，实现了性能改进。其准确率达到当前最先进水平，与 InceptionTime 和 TS-CHIEF 相当，同时在效率、运行时控制、检查点机制和可调性方面表现更优，并在 109 个 UCR 数据集上保持了高性能。

ABSTRACT

The Hierarchical Vote Collective of Transformation-based Ensembles (HIVE-COTE) is a heterogeneous meta ensemble for time series classification. Since it was first proposed in 2016, the algorithm has undergone some minor changes and there is now a configurable, scalable and easy to use version available in two open source repositories. We present an overview of the latest stable HIVE-COTE, version 1.0, and describe how it differs to the original. We provide a walkthrough guide of how to use the classifier, and conduct extensive experimental evaluation of its predictive performance and resource usage. We compare the performance of HIVE-COTE to three recently proposed algorithms using the aeon toolkit.

研究动机与目标

• 开发一种更实用、可扩展且用户友好的 HIVE-COTE 版本，用于时间序列分类。
• 通过移除最慢的组件（特别是 Elastic Ensemble 和 STC 中的完整形状片段枚举），提升计算效率。
• 通过支持运行时控制、检查点机制和超参数调优，提升 HIVE-COTE 在真实应用场景中的可用性。
• 基于 UCR 归档，使用 HIVE-COTE v1.0 建立时间序列分类的新基准。
• 将 HIVE-COTE v1.0 的性能、速度和内存使用情况与近期最先进模型（如 InceptionTime、TS-CHIEF 和 ROCKET）进行对比。

提出的方法

• HIVE-COTE v1.0 采用基于 CAWPE（交叉验证准确率加权概率集成）的分层集成结构，通过基于准确率加权的概率估计融合分类器输出。
• 它用精简的组件集合替代原始的 Elastic Ensemble：时间序列森林（TSF）、cBOSS、RISE，以及一个形状片段枚举受限的压缩版 STC。
• 每个组件在不同的数据表示上独立训练，其预测结果通过基于估计测试准确率的加权投票方式进行融合。
• 该框架支持可配置的运行时限制、长周期任务的检查点机制，以及基于训练集性能的超参数调优。
• 该算法在 tsml 库中实现，可与基于 tsml 的其他模型（如 TS-CHIEF 和 InceptionTime）进行直接比较。
• 性能评估基于 109 个 UCR 时间序列数据集，采用准确率、训练时间、推理时间与内存使用量作为指标。

实验结果

研究问题

• RQ1 HIVE-COTE v1.0 在标准 UCR 基准上与近期最先进模型（如 InceptionTime、TS-CHIEF 和 ROCKET）相比，准确率表现如何？
• RQ2 原始 HIVE-COTE 中的性能瓶颈是什么？如何通过算法与工程优化加以缓解？
• RQ3 HIVE-COTE v1.0 在显著降低训练与推理时间的同时，能在多大程度上保持高准确率？
• RQ4 运行时限制、检查点机制与可调性如何提升 HIVE-COTE 的实际可用性？
• RQ5 与其它领先的时间序列分类模型相比，HIVE-COTE v1.0 的内存与计算开销如何？

主要发现

• HIVE-COTE v1.0 在 109 个 UCR 数据集上实现了最先进平均准确率，性能与 InceptionTime、TS-CHIEF 和 ROCKET 相当。
• 移除 Elastic Ensemble 并减少 STC 中的形状片段枚举，显著提升了训练速度，平均训练时间从 4.26 小时降低至更易管理的水平。
• STC 在训练与推理中仍是最慢的组件，但其性能现受一小时时间限制约束，避免了过度计算。
• HIVE-COTE v1.0 的平均推理时间为每数据集 0.78 分钟，快于 TS-CHIEF（4.09 分钟），也远快于原始 HIVE-COTE。
• 内存使用量方面，HIVE-COTE v1.0 最高（最大 4,426 MB），但低于 TS-CHIEF（最大 18,532 MB），表明其具备更好的可扩展性。
• ROCKET 在速度上优于 HIVE-COTE v1.0，但鲁棒性较差，在多个数据集上失败；而 HIVE-COTE v1.0 提供了更优的可配置性与可靠性。