[论文解读] A Generalised Signature Method for Multivariate Time Series Feature Extraction

James Morrill, Adeline Fermanian+2 more|arXiv (Cornell University)|Jun 1, 2020

Time Series Analysis and Forecasting参考文献 62被引用 10

一句话总结

本文提出了一种用于多元时间序列特征提取的广义签名方法，将现有变体统一为一个单一框架，支持可配置的组件（如增强、窗口、变换和重缩放）。通过在26个数据集上的实证评估，建立了标准处理流程，在与最先进模型（包括深度网络）的对比中表现具有竞争力，并开源了实现代码以提升可及性。

ABSTRACT

The 'signature method' refers to a collection of feature extraction techniques for multivariate time series, derived from the theory of controlled differential equations. There is a great deal of flexibility as to how this method can be applied. On the one hand, this flexibility allows the method to be tailored to specific problems, but on the other hand, can make precise application challenging. This paper makes two contributions. First, the variations on the signature method are unified into a general approach, the \emph{generalised signature method}, of which previous variations are special cases. A primary aim of this unifying framework is to make the signature method more accessible to any machine learning practitioner, whereas it is now mostly used by specialists. Second, and within this framework, we derive a canonical collection of choices that provide a domain-agnostic starting point. We derive these choices as a result of an extensive empirical study on 26 datasets and go on to show competitive performance against current benchmarks for multivariate time series classification. Finally, to ease practical application, we make our techniques available as part of the open-source [redacted] project.

研究动机与目标

• 将签名方法的各种变体统一为一个统一、连贯的框架，用于多元时间序列特征提取。
• 识别一组标准的超参数选择，作为时间序列分类任务的强健、领域无关的起点。
• 通过在26个多样化数据集上的实证评估，分析不同签名方法组件的影响，以指导实际应用。
• 证明所提出的标准处理流程在与最先进分类器（包括深度学习模型）的对比中表现具有竞争力。
• 通过在[redacted]项目中开源实现，提升签名方法的可访问性。

提出的方法

• 广义签名方法通过将现有签名变体形式化为可配置组件（如时间扭曲等增强、滑动窗口等窗口策略、对数签名等变换、归一化等重缩放）来统一现有方法。
• 该框架支持组件的系统性组合，可在保留粗糙路径理论理论保证的前提下支持新配置。
• 通过在26个数据集上进行广泛的超参数消融实验，识别最具影响力的组件，推导出标准处理流程，重点关注深度、窗口化策略和变换选择。
• 该方法将多元时间序列视为R^d中的路径，通过计算指定深度的迭代积分，生成特征向量。
• 采用对数签名变体以减少冗余并提高稳定性，尤其适用于长序列。
• 最终模型使用随机森林分类器在签名特征上进行训练，超参数按数据集进行调优以实现最佳性能。

实验结果

研究问题

• RQ1 在多种数据集上，签名方法的哪些组件（如深度、窗口化、变换）对分类准确率影响最大？
• RQ2 能否构建一个统一框架，涵盖所有已知的签名方法变体，以支持系统性探索与扩展？
• RQ3 在多个时间序列分类任务中，何种签名超参数配置能实现强健且可泛化的性能？
• RQ4 标准签名处理流程在标准基准数据集上的性能与最先进模型（包括深度神经网络架构）相比如何？
• RQ5 在低数据量场景下，签名方法在无需模型微调的情况下，能在多大程度上实现具有竞争力的结果？

主要发现

• 标准签名处理流程在26个UEA数据集上的平均排名为4.3，优于或匹配了大多数基线模型，包括HIVE-COTE和MUSE。
• 采用对数变换和二进制窗口化的深度2签名在大多数数据集中表现优异，其中深度2在26个数据集中的12个上实现了最高平均准确率。
• 在ArticularyWordRecognition数据集上达到97.7%的准确率，在PenDigits上达到97.4%，在NATOPS上达到92.2%，表明在具有挑战性的基准上表现强劲。
• 在26个数据集中的18个上，标准处理流程优于DTWD、DTWA、DTWI和TapNet，其平均排名分别为5.6、5.2、5.9和6.4。
• 广义签名方法的开源实现可在[redacted]包中获取，使机器学习从业者能够实际采用。
• 实证分析表明，深度和窗口化策略是最具影响力的超参数，大多数数据集的最优选择为深度2或3。