[논문 리뷰] FrAug: Frequency Domain Augmentation for Time Series Forecasting

Muxi Chen, Zhijian Xu외 2명|arXiv (Cornell University)|2023. 02. 18.

Time Series Analysis and Forecasting인용 수 6

한 줄 요약

이 논문은 주기적 패턴과 동적 시스템 행동을 유지하면서 세분화된 시간 관계를 보존하기 위해 주파수 마스킹과 혼합을 적용하는 주파수 도메인 데이터 증강 방법인 FrAug를 제안한다. 실험 결과 FrAug는 예측 정확도를 향상시키며, 1% 데이터로 훈련한 모델이 전체 데이터 훈련 성능을 달성할 수 있도록 하고, 분포 이탈 상황에서 테스트 시 훈련을 통해 모델 적응성을 향상시킨다.

ABSTRACT

Data augmentation (DA) has become a de facto solution to expand training data size for deep learning. With the proliferation of deep models for time series analysis, various time series DA techniques are proposed in the literature, e.g., cropping-, warping-, flipping-, and mixup-based methods. However, these augmentation methods mainly apply to time series classification and anomaly detection tasks. In time series forecasting (TSF), we need to model the fine-grained temporal relationship within time series segments to generate accurate forecasting results given data in a look-back window. Existing DA solutions in the time domain would break such a relationship, leading to poor forecasting accuracy. To tackle this problem, this paper proposes simple yet effective frequency domain augmentation techniques that ensure the semantic consistency of augmented data-label pairs in forecasting, named FrAug. We conduct extensive experiments on eight widely-used benchmarks with several state-of-the-art TSF deep models. Our results show that FrAug can boost the forecasting accuracy of TSF models in most cases. Moreover, we show that FrAug enables models trained with 1\% of the original training data to achieve similar performance to the ones trained on full training data, which is particularly attractive for cold-start forecasting. Finally, we show that applying test-time training with FrAug greatly improves forecasting accuracy for time series with significant distribution shifts, which often occurs in real-life TSF applications. Our code is available at https://anonymous.4open.science/r/Fraug-more-results-1785.

연구 동기 및 목표

• 기존의 시간 도메인 방법이 중요한 시간 관계를 방해하는 바람에, 시계열 예측(TSF)을 위한 효과적인 데이터 증강 기법의 부족 문제를 해결하기 위해.
• 예측 기반 시계열 예측에서 레이블 정확성이 핵심이므로, 증강된 데이터-레이블 쌍 간의 의미 일致성을 확보하기 위해.
• 시계열의 주기적 패턴과 동적 시스템 행동을 유지하는 주파수 도메인 접근법을 개발하기 위해.
• 특히 콜드 스타트 시나리오에서 최소한의 훈련 데이터로 고성능 예측을 가능하게 하기 위해.
• FrAug를 사용한 테스트 시 훈련을 통해 분포 이탈 상황에서 모델의 강건성을 향상시키기 위해.

제안 방법

• FrAug는 푸리에 변환된 봉인 윈도우의 주파수 성분 부분집합을 무작위로 제거하여 주파수 마스킹을 수행한다.
• FrAug는 서로 다른 시계열 윈도우의 동일 주파수 성분을 평균화하여 새로운 의미 일치 샘플을 생성함으로써 주파수 혼합을 적용한다.
• 이 방법은 시간 도메인의 변형을 피하기 위해 전적으로 주파수 도메인에서 작동하며, 시간 의존성을 방해하는 요소를 제거한다.
• 증강된 샘플은 훈련에 사용되기 전에 역 푸리에 변환을 통해 재구성된다.
• 이 방법은 어떤 딥 TSF 모델과도 호환되며, 최소한의 계산 오버헤드를 필요로 한다.
• 테스트 시 훈련을 위해 FrAug는 새로운 데이터에 대해 5개의 증강 샘플을 생성하고, 오래된 데이터로 갈수록 점차 1개로 줄여 분포 이탈에 적응한다.

실험 결과

연구 질문

• RQ1 시간 관계가 핵심인 시계열 예측에서 주파수 도메인 증강이 데이터-레이블 쌍의 의미 일치성을 유지할 수 있는가?
• RQ2 낮은 데이터 규모에서 시간 도메인 증강 대비 주파수 마스킹과 혼합이 예측 정확도를 향상시키는가?
• RQ3 FrAug를 통해 1%의 훈련 데이터로만 훈련된 모델이 전체 데이터 훈련 성능과 유사한 성능을 달성할 수 있는가?
• RQ4 실제 시계열에서 심각한 분포 이탈이 발생할 경우 FrAug는 성능 저하를 얼마나 효과적으로 완화하는가?
• RQ5 새로운 데이터가 분포가 이탈한 상태로 도착할 때, FrAug는 테스트 시 훈련 중 모델 적응성을 향상시키는가?

주요 결과

• 4개의 벤치마크 데이터셋에서, FrAug를 사용한 1% 데이터 훈련 모델은 전체 데이터 훈련 모델 대비 성능이 13% 이내로 유지되었으며, 증강 없이 훈련한 경우는 45% 성능 저하가 발생했다.
• ETTh2 데이터셋에서, FrAug를 적용한 Autoformer는 예측 길이 96일 때 전체 데이터 기반 베이스라인 대비 5.4% 높은 성능을 기록했다.
• 환율 데이터셋에서, FrAug를 적용한 DLinear는 예측 길이 720일 때 전체 데이터 모델을 20% 뛰어넘는 성능을 기록했으며, 이는 전체 데이터셋 내 분포 이탈의 영향일 가능성이 높다.
• ILI 데이터셋의 9번째 데이터 부분에서 분포 이탈 상황에서 테스트 시 훈련을 수행한 결과, FrAug는 테스트 손실을 감소시켰고, 베이스라인 손실은 계속 증가했다.
• 여러 최신 기술 모델을 사용한 8개의 벤치마크에서 FrAug는 낮은 데이터 및 분포 이탈 상황에서 특히 효과적으로 예측 정확도를 향상시켰다.
• 교통, 전력, 건강 데이터를 포함한 다양한 시계열에서 효과적이며, 광범위한 적용 가능성을 입증했다.