[论文解读] Dynamic Sparse Network for Time Series Classification: Learning What to "see''

Qiao Xiao, Boqian Wu+5 more|arXiv (Cornell University)|Dec 19, 2022

Time Series Analysis and Forecasting被引用 13

一句话总结

该论文提出了一种用于时间序列分类的动态稀疏网络（DSN），通过动态稀疏训练学习自适应感受野，实现在无需手动调整超参数的情况下跨多信号尺度的高效特征提取。DSN在单变量和多变量时间序列分类基准上实现了最先进（SOTA）的准确率，计算成本低于先前方法的50%。

ABSTRACT

The receptive field (RF), which determines the region of time series to be ``seen'' and used, is critical to improve the performance for time series classification (TSC). However, the variation of signal scales across and within time series data, makes it challenging to decide on proper RF sizes for TSC. In this paper, we propose a dynamic sparse network (DSN) with sparse connections for TSC, which can learn to cover various RF without cumbersome hyper-parameters tuning. The kernels in each sparse layer are sparse and can be explored under the constraint regions by dynamic sparse training, which makes it possible to reduce the resource cost. The experimental results show that the proposed DSN model can achieve state-of-art performance on both univariate and multivariate TSC datasets with less than 50\% computational cost compared with recent baseline methods, opening the path towards more accurate resource-aware methods for time series analyses. Our code is publicly available at: https://github.com/QiaoXiao7282/DSN.

研究动机与目标

• 解决由于数据集之间及内部信号尺度差异，时间序列分类（TSC）中选择最优感受野（RF）尺寸的挑战。
• 在保持或提升准确率的同时，减少TSC模型的计算成本和超参数调优负担。
• 开发一种细粒度的动态稀疏训练策略，使CNN层能够通过稀疏核组学习多样化且高效的RF模式。
• 通过实现自动、自适应的特征学习，弥合TSC中模型准确率与资源效率之间的差距。

提出的方法

• 提出一种动态稀疏CNN层，其中核被分组为稀疏子核，每个子核被限制在局部区域，以实现细粒度感受野学习。
• 引入一种动态稀疏训练（DST）策略，在训练过程中自适应地剪枝和更新每个核组内的连接。
• 采用分组稀疏核设计，使每一层能够以不固定核尺寸配置的方式提取多尺度特征。
• 采用渐进式、逐层稀疏机制，在保持模型表达能力的同时降低FLOPs和参数量。
• 在堆叠架构中应用动态稀疏层，构建完整的DSN模型，并通过反向传播端到端训练。
• 实施基于约束的稀疏策略，将探索范围限制在有意义的局部区域，从而提升训练稳定性和效率。

实验结果

研究问题

• RQ1 动态稀疏网络是否能在无需手动调整核尺寸的情况下，学习到时间序列分类的最优感受野？
• RQ2 与标准稀疏训练相比，动态稀疏训练在感受野覆盖范围和模型性能方面表现如何？
• RQ3 DSN在保持或提升分类准确率的同时，能在多大程度上降低计算成本（FLOPs和参数）？
• RQ4 DSN能否在具有不同信号特征的多样化单变量和多变量时间序列数据集上实现良好泛化？

主要发现

• DSN在UEA和UCR时间序列分类存档中实现了最先进准确率，优于OS-CNN、MLSTM-FCN和TapNet等近期方法。
• 平均而言，DSN在30个数据集上相比基线模型将FLOPs降低了超过50%，同时保持或提升了测试准确率。
• 在UEA的30个数据集基准中，DSN在yoga数据集上达到93.63%的平均准确率，在Trace数据集上达到100%，方差极小（±0.00%至±0.48%）。
• 在Epilepsy数据集上达到99.86%的准确率，在SpokenArabicDigits数据集上达到99.10%，优于所有基线方法。
• 在具有挑战性的AtrialFibrillation数据集上，DSN达到6.67%的准确率（而OS-CNN为23.33%），表明其对低信号、噪声数据具有强鲁棒性。
• 模型参数量保持较低水平（例如143K–155K），且在大多数数据集上FLOPs始终低于100M，展现出出色的资源效率。