[论文解读] Data Augmentation for Time-Series Classification: An Extensive Empirical Study and Comprehensive Survey

Zijun Gao, Liu, Haibao+1 more|arXiv (Cornell University)|Oct 16, 2023

Time Series Analysis and Forecasting被引用 4

一句话总结

本文对时间序列分类（TSC）中的数据增强（DA）技术进行了全面综述与实证评估，提出了一种新颖的五类分类法：基于变换的、基于模式的、生成式、基于分解的以及自动化DA。在8个UCR数据集上使用ResNet对15种DA方法进行了评估，实现了基准准确率为88.94 ± 11.83%，其中排列（Permutation）策略表现最佳（准确率89.20 ± 11.95%），而旋转（Rotation）则导致性能下降。

ABSTRACT

Data Augmentation (DA) has become a critical approach in Time Series Classification (TSC), primarily for its capacity to expand training datasets, enhance model robustness, introduce diversity, and reduce overfitting. However, the current landscape of DA in TSC is plagued with fragmented literature reviews, nebulous methodological taxonomies, inadequate evaluative measures, and a dearth of accessible and user-oriented tools. This study addresses these challenges through a comprehensive examination of DA methodologies within the TSC domain.Our research began with an extensive literature review spanning a decade, revealing significant gaps in existing surveys and necessitating a detailed analysis of over 100 scholarly articles to identify more than 60 distinct DA techniques. This rigorous review led to the development of a novel taxonomy tailored to the specific needs of DA in TSC, categorizing techniques into five primary categories: Transformation-Based, Pattern-Based, Generative, Decomposition-Based, and Automated Data Augmentation. This taxonomy is intended to guide researchers in selecting appropriate methods with greater clarity. In response to the lack of comprehensive evaluations of foundational DA techniques, we conducted a thorough empirical study, testing nearly 20 DA strategies across 15 diverse datasets representing all types within the UCR time-series repository. Using ResNet and LSTM architectures, we employed a multifaceted evaluation approach, including metrics such as Accuracy, Method Ranking, and Residual Analysis, resulting in a benchmark accuracy of 84.98 +- 16.41% in ResNet and 82.41 +- 18.71% in LSTM. Our investigation underscored the inconsistent efficacies of DA techniques, for instance, methods like RGWs and Random Permutation significantly improved model performance, whereas others, like EMD, were less effective.

研究动机与目标

• 解决时间序列分类（TSC）中数据增强（DA）研究文献零散且不一致的问题，该问题缺乏统一的分类体系与整体性评估。
• 从过去十年的研究中识别并归类超过60种独特的DA技术，以建立面向TSC的结构化、专用分类法。
• 使用ResNet在8个UCR时间序列数据集上对15种主流DA方法进行严格实证评估，建立性能基准并揭示各类方法的效能差异。
• 基于数据集固有特征（如长度、类别分布与时间结构）提供数据驱动的、针对数据集的最优DA策略选择建议。
• 开发并发布一个用户友好的Python库，集成所有评估过的DA技术，以加速TSC领域的研究与应用。

提出的方法

• 对过去十年中100余篇学术论文进行了广泛文献调研，识别并分析了超过60种面向TSC的独立数据增强技术。
• 提出了面向TSC中DA的五级新分类法：基于变换的、基于模式的、生成式、基于分解的以及自动化DA，旨在反映方法论与功能上的差异。
• 在8个UCR时间序列基准数据集上，采用标准化实验设置对15种代表性DA技术进行评估，使用ResNet作为基线模型以确保性能比较的一致性。
• 采用多维度评估协议，结合准确率、方法排名（通过Friedman检验）与残差分析，评估模型在多样化数据集上的性能与泛化能力。
• 分析了数据集特定属性（如序列长度、类别数量与时间相关性）对各类DA方法有效性的影响，以支持上下文感知的选择。
• 实现了开源一个全面的Python库，集成所有评估过的DA技术，支持未来研究的便捷应用与可复现性。

实验结果

研究问题

• RQ1 哪些数据增强技术在时间序列分类中最有效，其性能在不同数据集上如何变化？
• RQ2 时间序列数据集的内在特征（如长度、类别不平衡与时间结构）如何影响特定数据增强策略的成功？
• RQ3 在使用深度学习模型进行标准化基准评估时，不同DA类别（如基于变换的 vs. 生成式）的相对性能如何？
• RQ4 能否开发一种统一且全面的分类法，系统性地对TSC中的DA方法进行分类，并指导其选择，从而提升方法论清晰度与研究一致性？
• RQ5 组合或自动化DA策略在多大程度上优于单一技术？其设计如何优化以实现效率与效果的平衡？

主要发现

• 排列（Permutation）方法在平均排名中表现最佳（4.125），准确率最高（89.20 ± 11.95%），在8个UCR数据集中的2个上优于其他方法。
• 旋转（Rotation）方法显著降低了模型性能，准确率仅为84.75 ± 12.92%，表明并非所有增强技术都普遍有益。
• 基于变换的DA方法在多样化数据集中始终表现出强劲且稳定的表现，尤其在保持数据完整性和时间结构方面表现优异。
• 基于模式的DA方法在特征丰富且类别边界复杂的数据集中最为有效，如ECG5000，其中特定类别的增强显著提升了泛化能力。
• 生成式方法（如GAN）的性能提升微乎其微（接近基线），表明其需精细调参并与原始数据分布精确对齐才能有效。
• 所有实验的基准模型准确率为88.94 ± 11.83%，为未来在TSC中使用数据增强的研究提供了可靠的参考基准。