[论文解读] Adaptive Weighting Scheme for Automatic Time-Series Data Augmentation

Elizabeth Fons, P Dawson+3 more|arXiv (Cornell University)|Feb 16, 2021

Time Series Analysis and Forecasting参考文献 23被引用 17

一句话总结

本文提出了两种针对时间序列分类的样本自适应数据增强方法：W-Augment，通过学习每个增强样本的损失贡献权重；以及 α-trimmed Augment，基于预测损失选择最有效的变换。该方法在金融数据集上实现了超过50%的年化收益率提升，并在超过一半的UCR时间序列数据集上超越了最先进模型，通过可学习的自适应增强策略展现出更优的泛化能力。

ABSTRACT

Data augmentation methods have been shown to be a fundamental technique to improve generalization in tasks such as image, text and audio classification. Recently, automated augmentation methods have led to further improvements on image classification and object detection leading to state-of-the-art performances. Nevertheless, little work has been done on time-series data, an area that could greatly benefit from automated data augmentation given the usually limited size of the datasets. We present two sample-adaptive automatic weighting schemes for data augmentation: the first learns to weight the contribution of the augmented samples to the loss, and the second method selects a subset of transformations based on the ranking of the predicted training loss. We validate our proposed methods on a large, noisy financial dataset and on time-series datasets from the UCR archive. On the financial dataset, we show that the methods in combination with a trading strategy lead to improvements in annualized returns of over 50$\%$, and on the time-series data we outperform state-of-the-art models on over half of the datasets, and achieve similar performance in accuracy on the others.

研究动机与目标

• 为解决时间序列数据缺乏自动化、自适应数据增强的问题，尤其是在小样本和噪声较大的数据集上。
• 开发基于个体样本表现的样本自适应策略，动态加权或选择增强方法。
• 通过学习最优变换策略，提升时间序列分类任务中的模型泛化能力和鲁棒性。
• 在真实金融数据和 UCR 时间序列基准数据集上验证所提方法的有效性。
• 证明自适应增强优于固定策略（如 RandAugment），在准确率和金融表现上均更优。

提出的方法

• W-Augment 引入一个可学习的权重向量，在反向传播过程中为每个增强样本的损失贡献分配动态的、样本特定的权重。
• α-trimmed Augment 根据预测训练损失，基于每个样本选择一组变换，舍弃表现最差的变换。
• 使用单一的畸变幅度参数 M 统一控制所有增强的强度，从而减少超参数搜索空间。
• 该方法与 InceptionTime（一个由五个一维卷积神经网络组成的集成模型）结合，通过网络与增强权重的端到端联合优化进行训练。
• 该方法将 RandAugment 扩展至时间序列领域，以相等概率应用于小批量数据，但增加了样本自适应学习机制以提升性能。
• 通过验证准确率从 {1,5,10,15,20} 中选择 M，最终模型在五组数据划分上的结果取平均。

实验结果

研究问题

• RQ1 与固定、非自适应策略相比，样本自适应数据增强是否能提升时间序列分类性能？
• RQ2 基于个体样本损失学习加权或选择增强方法，是否能提升时间序列数据的泛化能力？
• RQ3 自适应增强是否能显著提升金融时间序列预测性能，特别是在投资回报率方面？
• RQ4 所包含的变换数量如何影响性能？自适应选择是否能缓解次优增强的影响？
• RQ5 所提方法是否能在标准 UCR 时间序列基准上超越 RandAugment 和其他最先进模型？

主要发现

• 在 S&P500 金融数据集上，所提增强方法结合交易策略使年化收益率提升超过50%。
• 在 UCR 时间序列数据集上，W-Augment 在12个数据集中的6个上优于基线模型，其余6个上持平或超越。
• 当使用8种变换时，W-Augment 在12个数据集中赢得或打平8个，而 RandAugment 仅赢得5个，表明其对次优增强的处理更优。
• α-trimmed Augment 在12个数据集中有7个优于基线，5个持平，显示出选择性增强的有效性。
• W-Augment 中学习到的权重在 InceptionTime 的五个模型中表现出一致行为，原始样本获得更高权重，且在不同数据集上实现动态适应。
• 使用 W-Augment 和 α-trimmed Augment 时，随着变换数量增加，验证准确率持续提升，表明方法具有可扩展性，并对增强集合大小具有鲁棒性。