[논문 리뷰] Towards Better Long-range Time Series Forecasting using Generative Adversarial Networks

Shiyu Liu, Ghosh, Rohan외 1명|arXiv (Cornell University)|2021. 10. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 54인용 수 5

한 줄 요약

이 논문은 조건부 워샤프린 GAN 기반의 합성 데이터 생성(CWGAN-TS)과 트랜스포머 예측기의 조합을 통해 편향과 분산을 균형 잡는 장기 예측 시계열 예측 프레임워크인 Generative Forecasting (GenF)을 제안한다. 다섯 개인 공개 데이터셋에서 최신 기술 대비 평균 절대 오차가 5–11% 낮고, 모델 파라미터 수가 15–50% 적다.

ABSTRACT

Long-range time series forecasting is usually based on one of two existing forecasting strategies: Direct Forecasting and Iterative Forecasting, where the former provides low bias, high variance forecasts and the later leads to low variance, high bias forecasts. In this paper, we propose a new forecasting strategy called Generative Forecasting (GenF), which generates synthetic data for the next few time steps and then makes long-range forecasts based on generated and observed data. We theoretically prove that GenF is able to better balance the forecasting variance and bias, leading to a much smaller forecasting error. We implement GenF via three components: (i) a novel conditional Wasserstein Generative Adversarial Network (GAN) based generator for synthetic time series data generation, called CWGAN-TS. (ii) a transformer based predictor, which makes long-range predictions using both generated and observed data. (iii) an information theoretic clustering algorithm to improve the training of both the CWGAN-TS and the transformer based predictor. The experimental results on five public datasets demonstrate that GenF significantly outperforms a diverse range of state-of-the-art benchmarks and classical approaches. Specifically, we find a 5% - 11% improvement in predictive performance (mean absolute error) while having a 15% - 50% reduction in parameters compared to the benchmarks. Lastly, we conduct an ablation study to demonstrate the effectiveness of the components comprising GenF.

연구 동기 및 목표

• 직접 예측은 높은 분산을, 반복적 예측은 높은 편향을 보이는 장기 시계열 예측에서 편향과 분산의 본질적 상충 관계를 해결한다.
• 장기 예측 수준에서 정확도와 강건성을 향상시키기 위해 합성 데이터 생성을 활용하는 새로운 예측 전략을 개발한다.
• 기존 최신 기술 모델을 능가하면서도 모델 복잡도를 줄이는 확장성 있고 파라미터 효율적인 프레임워크를 설계한다.
• ablation 및 실증적 평가를 통해 제안된 구성 요소—CWGAN-TS, 트랜스포머 예측기, 정보 이론 기반 클러스터링—의 효과를 입증한다.

제안 방법

• 미래 단계를 위한 합성 시계열 데이터를 생성하고 관측 데이터와 융합하여 장기 예측을 수행하는 새로운 예측 전략인 Generative Forecasting (GenF)을 제안한다.
• 다변량 시계열 데이터 생성을 위해 조건부 워샤프린 GAN 기반 생성기인 CWGAN-TS를 구현하며, 훈련 안정성 향상과 샘플 품질 향상을 위해 기울기 페널티를 사용한다.
• 잠재 공간 내 대표 단위를 식별하기 위해 정보 이론 기반 클러스터링(ITC) 알고리즘을 통합하여 생성기 및 예측기의 훈련 효율성과 일반화 능력을 향상시킨다.
• 실제 시계열 시퀀스와 생성된 시계열 시퀀스 양쪽에 주목하는 트랜스포머 기반 예측기를 사용하여 더 나은 맥락 모델링을 통해 장기 예측을 생성한다.
• 대부분의 손실 함수를 조합한 다목적 손실을 사용해 생성기와 예측기를 함께 훈련한다. 이 손실은 적대적 손실, 재구성 손실, 클러스터링 기반 정규화를 포함한다.
• 시간적 설정에서의 데이터 泄漏를 방지하고 강건성을 평가하기 위해 Population-Informed Cross-Validation (PICV)과 Time Series Cross-Validation (TSCV)를 적용한다.

실험 결과

연구 질문

• RQ1 직접 또는 반복적 예측 대비 합성 데이터 생성이 장기 시계열 예측에서 편향-분산 상충 관계를 개선하는가?
• RQ2 제안된 CWGAN-TS 생성기는 표준 GAN 및 기타 조건부 GAN 변종 대비 고해상도 다변량 시계열을 얼마나 잘 생성하는가?
• RQ3 실제 관측치와의 융합을 통해 생성된 데이터가 다양한 데이터셋에서 예측 정확도를 얼마나 향상시키는가?
• RQ4 정보 이론 기반 클러스터링(ITC) 알고리즘이 생성기 및 예측기의 훈련 안정성과 성능 향상에 얼마나 효과적인가?
• RQ5 Stricter 시간적 검증(TSCV) 조건 하에서도 GenF는 데이터 泄漏 위험에 저항하면서 우수한 성능 유지를 유지하는가?

주요 결과

• GenF는 다섯 개인 공개 데이터셋에서 최신 기술 기준 대비 평균 절대 오차에서 5%에서 11%의 예측 성능 향상을 달성한다.
• 제안된 CWGAN-TS 생성기는 표준 GAN 대비 합성 데이터 생성 오차를 81% 감소시키고, 기울기 페널티를 적용한 CWGAN-GP 기준 대비 78% 감소시킨다.
• ITC 알고리즘은 무작위 선택 기반 기준(CWGAN-RS) 대비 생성 성능을 62% 향상시켜 유의미한 잠재 단위 선택의 가치를 입증한다.
• GenF는 성능을 유지하거나 향상시키면서도 최신 기술 모델 대비 모델 파라미터 수를 15%에서 50%까지 감소시켜 높은 파라미터 효율성을 보여준다.
• Time Series Cross-Validation (TSCV) 조건 하에서 GenF는 모든 베이스라인 대비 최소 7.8% 이상 높은 성능를 기록하여 시간적 데이터 분할에 대한 강건성과 데이터 泄漏 저항성을 확인한다.
• Ablation 연구를 통해 CWGAN-TS 생성기와 ITC 알고리즘이 성능 향상에 필수적임을 입증하였으며, 각 구성 요소가 예측 정확도 및 생성 품질 향상에 기여하는 바가 크다.