[論文レビュー] FrAug: Frequency Domain Augmentation for Time Series Forecasting

Muxi Chen, Zhijian Xu+2 more|arXiv (Cornell University)|Feb 18, 2023

Time Series Analysis and Forecasting被引用数 6

ひとこと要約

本稿では、時間的関係性を保持するため、周波数マスクと周波数混合を用いて意味的整合性を保つ周波数ドメインのデータ拡張手法FrAugを提案する。実験の結果、FrAugは予測精度を向上させ、1%のデータでの学習でフルデータ学習の性能に達し、テスト時学習により分布シフト下でもモデルの適応性を向上させる。

ABSTRACT

Data augmentation (DA) has become a de facto solution to expand training data size for deep learning. With the proliferation of deep models for time series analysis, various time series DA techniques are proposed in the literature, e.g., cropping-, warping-, flipping-, and mixup-based methods. However, these augmentation methods mainly apply to time series classification and anomaly detection tasks. In time series forecasting (TSF), we need to model the fine-grained temporal relationship within time series segments to generate accurate forecasting results given data in a look-back window. Existing DA solutions in the time domain would break such a relationship, leading to poor forecasting accuracy. To tackle this problem, this paper proposes simple yet effective frequency domain augmentation techniques that ensure the semantic consistency of augmented data-label pairs in forecasting, named FrAug. We conduct extensive experiments on eight widely-used benchmarks with several state-of-the-art TSF deep models. Our results show that FrAug can boost the forecasting accuracy of TSF models in most cases. Moreover, we show that FrAug enables models trained with 1\% of the original training data to achieve similar performance to the ones trained on full training data, which is particularly attractive for cold-start forecasting. Finally, we show that applying test-time training with FrAug greatly improves forecasting accuracy for time series with significant distribution shifts, which often occurs in real-life TSF applications. Our code is available at https://anonymous.4open.science/r/Fraug-more-results-1785.

研究の動機と目的

• 時間的関係性が重要な時系列予測（TSF）において、従来の時間ドメイン手法が重要な時間的依存関係を破壊するという点を解決する。
• 回帰ベースのTSFにおいて、ラベルの正確性が不可欠であるため、拡張されたデータ-ラベルペアの意味的整合性を保証する。
• 時系列の周期的パターンや動的システムの挙動を保持する周波数ドメインのアプローチを開発する。
• 特にコールドスタートの状況を想定し、最小限の学習データで高性能な予測を実現する。
• FrAugを用いたテスト時学習により、分布シフト下でのモデルのロバスト性を向上させる。

提案手法

• FrAugは、フーリエ変換された履歴ウィンドウの周波数成分のサブセットをランダムに削除することで周波数マスクを実行する。
• FrAugは、異なる時系列ウィンドウ間で同じ周波数成分を平均化することで、新たな意味的整合性のあるサンプルを生成する周波数混合を適用する。
• この手法は時間ドメインの摂動を回避するため、完全に周波数ドメインで動作し、時間的依存関係を破壊しない。
• 拡張されたサンプルは、学習に使用する前に逆フーリエ変換により再構築される。
• このアプローチは任意のディープTSFモデルと互換性があり、最小限の計算コストで実装可能である。
• テスト時学習では、新規データに対して5つの拡張サンプルを生成し、古いデータに対しては徐々に1つに減少させる。これにより、分布シフトに適応する。

実験結果

リサーチクエスチョン

• RQ1 時間的関係性が重要な時系列予測において、周波数ドメインの拡張がデータ-ラベルペアの意味的整合性を保持できるか？
• RQ2 低データ環境下で、周波数マスクと混合が時間ドメインの拡張と比較して予測精度を向上させるか？
• RQ3 FrAugを用いることで、学習データの1%でのみ学習したモデルが、フルデータ学習の性能に近づけるか？
• RQ4 実世界の時系列において顕著な分布シフトが生じた場合、FrAugは性能の低下を効果的に緩和できるか？
• RQ5 新規データが分布シフトを伴って到着する際、テスト時学習においてFrAugがモデルの適応性を向上させられるか？

主な発見

• 4つのベンチマークデータセットにおいて、1%のデータとFrAugで学習したモデルは、フルデータセットで学習したモデルの13%以内の性能を達成した。一方、拡張なしでは45%の性能低下が生じた。
• ETTh2データセットでは、FrAugを用いたAutoformerが、予測長が96のとき、フルデータベースラインより5.4%高い性能を示した。
• 為替レートデータセットでは、FrAugを用いたDLinearが、予測長が720のとき、フルデータモデルを20%上回った。これは、フルデータセットに分布シフトが存在したためと考えられる。
• ILIデータセットの9番目のデータ部分において、テスト時学習の際、FrAugはテスト損失を低下させたが、ベースラインの損失は継続的に上昇を続けた。
• 8つのベンチマークにおいて、複数の最先端モデルを用いてFrAugは一貫して予測精度を向上させ、とくに低データおよび分布シフトの状況で顕著であった。
• 交通、電力、健康分野の多様な時系列データにおいても効果を示し、広範な適用可能性を実証した。