[论文解读] FrAug: Frequency Domain Augmentation for Time Series Forecasting

Muxi Chen, Zhijian Xu+2 more|arXiv (Cornell University)|Feb 18, 2023

Time Series Analysis and Forecasting被引用 6

一句话总结

本文提出 FrAug，一种用于时间序列预测的频域数据增强方法，通过应用频域掩码和混合技术，保留细粒度的时间依赖关系，从而维持语义一致性。实验表明，FrAug 提升了预测准确性，使仅使用 1% 数据训练的模型达到全量数据训练的性能水平，并通过推理时训练增强了模型在分布偏移下的适应能力。

ABSTRACT

Data augmentation (DA) has become a de facto solution to expand training data size for deep learning. With the proliferation of deep models for time series analysis, various time series DA techniques are proposed in the literature, e.g., cropping-, warping-, flipping-, and mixup-based methods. However, these augmentation methods mainly apply to time series classification and anomaly detection tasks. In time series forecasting (TSF), we need to model the fine-grained temporal relationship within time series segments to generate accurate forecasting results given data in a look-back window. Existing DA solutions in the time domain would break such a relationship, leading to poor forecasting accuracy. To tackle this problem, this paper proposes simple yet effective frequency domain augmentation techniques that ensure the semantic consistency of augmented data-label pairs in forecasting, named FrAug. We conduct extensive experiments on eight widely-used benchmarks with several state-of-the-art TSF deep models. Our results show that FrAug can boost the forecasting accuracy of TSF models in most cases. Moreover, we show that FrAug enables models trained with 1\% of the original training data to achieve similar performance to the ones trained on full training data, which is particularly attractive for cold-start forecasting. Finally, we show that applying test-time training with FrAug greatly improves forecasting accuracy for time series with significant distribution shifts, which often occurs in real-life TSF applications. Our code is available at https://anonymous.4open.science/r/Fraug-more-results-1785.

研究动机与目标

• 为解决时间序列预测（TSF）中缺乏有效数据增强技术的问题，现有时域方法会破坏关键的时间依赖关系。
• 确保基于回归的时间序列预测中增强数据-标签对的语义一致性，其中标签保真度至关重要。
• 开发一种频域方法，以保留时间序列中的周期性模式和动态系统行为。
• 实现在极小训练数据量下的高性能预测，尤其适用于冷启动场景。
• 通过推理时训练提升模型在分布偏移下的鲁棒性。

提出的方法

• FrAug 通过在傅里叶变换后的回溯窗口中随机剔除部分频率分量，实现频域掩码。
• FrAug 通过在不同时间序列窗口之间对相同频率分量取平均，实现频率混合，从而生成新的、语义一致的样本。
• 该方法完全在频域中操作，避免了时域扰动对时间依赖关系的破坏。
• 增强后的样本通过逆傅里叶变换重建后用于训练。
• 该方法与任何深度时间序列预测模型兼容，且计算开销极低。
• 在推理时训练中，FrAug 为新数据生成 5 个增强样本，并随数据变旧逐步减少至 1 个，以适应分布偏移。

实验结果

研究问题

• RQ1 频域增强能否在时间序列预测中保留数据-标签对的语义一致性，尤其是在时间依赖关系至关重要的场景下？
• RQ2 与时域增强相比，频域掩码和混合在低数据量场景下是否能提升预测准确性？
• RQ3 FrAug 是否能使仅使用 1% 训练数据的模型达到与全量数据训练相当的性能？
• RQ4 FrAug 在现实世界时间序列中出现显著分布偏移时，能否有效缓解性能下降？
• RQ5 当新数据以分布偏移形式到达时，FrAug 是否能增强模型在推理时训练中的适应能力？

主要发现

• 在四个基准数据集上，仅使用 1% 数据并结合 FrAug 训练的模型，其性能与全量数据训练模型相比仅下降 13%，而无增强时性能下降高达 45%。
• 在 ETTh2 数据集上，使用 FrAug 的 Autoformer 在 96 预测长度下比全量数据基线模型性能提升 5.4%。
• 在 Exchange Rate 数据集上，使用 FrAug 的 DLinear 在 720 预测长度下比全量数据模型性能提升 20%，可能由于全量数据集存在分布偏移。
• 在 ILI 数据集的第 9 个数据部分，推理时训练中 FrAug 降低了测试损失，而基线损失持续上升。
• FrAug 在八个基准数据集上均显著提升了预测准确性，尤其在低数据量和分布偏移场景下表现突出。
• 该方法在多种时间序列中均有效，包括交通、电力和健康数据，展现出广泛的适用性。