[论文解读] Benchmarking time series classification -- Functional data vs machine learning approaches

Florian Pfisterer, Laura Beggel+3 more|arXiv (Cornell University)|Nov 18, 2019

Time Series Analysis and Forecasting参考文献 35被引用 8

一句话总结

本文对时间序列分类中的函数数据分析（FDA）与机器学习（ML）方法进行了基准测试，通过mlr工具箱将多种FDA技术与特征提取流程整合为统一的R框架。结果表明，经调优的特征提取结合传统机器学习模型（如xgboost、随机森林）通常优于专用FDA方法，超参数调优可将误差降低高达20.3%，为非专家提供了实用、易用且高性能的分析流程。

ABSTRACT

Time series classification problems have drawn increasing attention in the machine learning and statistical community. Closely related is the field of functional data analysis (FDA): it refers to the range of problems that deal with the analysis of data that is continuously indexed over some domain. While often employing different methods, both fields strive to answer similar questions, a common example being classification or regression problems with functional covariates. We study methods from functional data analysis, such as functional generalized additive models, as well as functionality to concatenate (functional-) feature extraction or basis representations with traditional machine learning algorithms like support vector machines or classification trees. In order to assess the methods and implementations, we run a benchmark on a wide variety of representative (time series) data sets, with in-depth analysis of empirical results, and strive to provide a reference ranking for which method(s) to use for non-expert practitioners. Additionally, we provide a software framework in R for functional data analysis for supervised learning, including machine learning and more linear approaches from statistics. This allows convenient access, and in connection with the machine-learning toolbox mlr, those methods can now also be tuned and benchmarked.

研究动机与目标

• 为时间序列分类提供全面且易于访问的函数数据分析（FDA）与机器学习（ML）方法基准。
• 利用mlr框架将多样化的FDA与ML工具统一于单一、一致的API下，便于比较与调优。
• 在广泛的时间序列数据集上评估专用FDA方法与特征提取+ML流程的性能表现。
• 通过实证基准测试与超参数调优，为非专家用户提供最优模型选择指导。
• 通过系统评估超参数调优与特征提取技术对函数数据的影响，弥合文献中的研究空白。

提出的方法

• 通过mlr框架将多个R包（如fda、FDboost、fda.usc）的函数数据分析功能整合为统一接口。
• 支持端到端工作流，涵盖函数数据预处理、特征提取（如B样条、小波、傅里叶变换）以及传统机器学习模型（如随机森林、xgboost、SVM）的组合。
• 采用贝叶斯优化方法，对所有方法-特征组合进行高效超参数调优。
• 使用标准化的重采样策略、性能度量（MMCE）以及在23个多样化时间序列数据集上的并行化基准测试。
• 同时支持函数建模（如函数广义可加模型）与通过转换流程实现的非函数特征建模。
• 提供开源R代码，并与mlr集成，实现自动化调优、基准测试与模型选择。

实验结果

研究问题

• RQ1 当应用于从函数数据中提取的向量值特征时，经典机器学习模型是否能与专用函数数据分析方法达到相当的性能？
• RQ2 超参数调优与特征提取技术如何影响时间序列分类模型的性能？
• RQ3 如FDboost等可解释性较强的函数数据分析方法在标准时间序列分类基准测试中是否表现具有竞争力？
• RQ4 哪些特征提取与机器学习模型的组合能在多样化的时间序列数据上产生最稳健且准确的结果？
• RQ5 是否存在一个实用的统一框架，使非专家能够轻松比较、调优并部署时间序列分类中的FDA与ML方法？

主要发现

• 调优显著提升了模型性能，傅里叶特征提取结合xgboost时，绝对MMCE最高降低20.3%。
• 所有特征提取技术的平均MMCE降低幅度为：FDboost为11%，ksvm为7.78%，xgboost为5.69%，ranger为3.59%。
• 未经预处理的简单随机森林在所有数据集上的平均排名为15.59（前4名），可作为强有力的基线模型。
• B样条（bsignal）与小波分解等特征提取方法，若与xgboost或随机森林结合，可产生高度具有竞争力的模型。
• 在所有数据集上，帕累托最优模型集合包含23种不同的算法-特征提取组合，表明最优配置具有高度多样性。
• 尽管具有可解释性，专用FDA方法如FDboost在本基准测试中表现不佳，表明其在标准时间序列任务中泛化能力有限。