[논문 리뷰] Forecasting with sktime: Designing sktime's New Forecasting API and Applying It to Replicate and Extend the M4 Study

Markus Löning, Franz J. Király|arXiv (Cornell University)|2020. 05. 16.

Forecasting Techniques and Applications참고 문헌 70인용 수 4

한 줄 요약

이 논문은 단변량 시계열 예측을 위한 복합 기계학습 모델을 구축하고, 튜닝하며 평가할 수 있는 scikit-learn 호환 프레임워크인 sktime의 새로운 예측 API를 소개한다. 이는 M4 예측 연구를 재현하고 확장하며, 단순한 하이브리드 및 순수 기계학습 접근 방식이 통계 모델을 능가하고 특히 시간별 데이터에서 M4 최고 성능 모델에 근접함을 보여준다.

ABSTRACT

We present a new open-source framework for forecasting in Python. Our framework forms part of sktime, a more general machine learning toolbox for time series with scikit-learn compatible interfaces for different learning tasks. Our new framework provides dedicated forecasting algorithms and tools to build, tune and evaluate composite models. We use sktime to both replicate and extend key results from the M4 forecasting study. In particular, we further investigate the potential of simple off-the-shelf machine learning approaches for univariate forecasting. Our main results are that simple hybrid approaches can boost the performance of statistical models, and that simple pure approaches can achieve competitive performance on the hourly data set, outperforming the statistical algorithms and coming close to the M4 winner.

연구 동기 및 목표

• 시계열 예측에서 복합 기계학습 모델을 구축하고, 튜닝하며 평가하기 위한 오픈소스이자 scikit-learn 호환 툴킷의 부족을 해결하기 위해.
• 파ip라인, 튜닝, 메타예측 기법(예: 감소, 탈추세)을 지원하는 조합 가능하고 모듈화된 예측 API를 제공하기 위해.
• 표준화되고 오픈소스인 프레임워크를 사용해 M4 예측 경쟁의 결과를 재현하고 검증하기 위해.
• M4 연구를 확장하기 위해, 예를 들어 감소, 부스팅, 튜닝과 같은 오프더쉘프 기계학습 접근 방식을 단변량 예측 작업에 적용해 평가하기 위해.
• 단순한 오프더쉘프 기계학습 모델이 통계 모델을 능가하거나 그 성능에 근접할 수 있음을 보여주기 위해, 특히 M4 우승자의 정확도에 도달하거나 이를 초월할 수 있음을 입증하기 위해.

제안 방법

• sktime 내에서 scikit-learn의 추정기 인터페이스를 모방하는 예측 API를 설계하여, 시계열 데이터에 대해 추정기, 변환기, 파이프라인의 일관된 사용을 가능하게 한다.
• 감소(예측을 회귀 문제로 변환), 탈추세, 잔차 부스팅과 같은 메타예측기 구현을 통해 하이브리드 모델링을 가능하게 한다.
• M4 데이터 세트 전반에서 기계학습 모델(예: 랜덤 포레스트, XGBoost, KNN, 선형 회귀)의 초모수를 튜닝하기 위해 시간 시리즈 분할을 사용한 중첩 교차검증을 적용한다.
• 특징 공학, 모델 피팅, 예측 단계를 통합한 재사용 가능하고 조합 가능한 워크플로우로 파이프라인을 적용한다.
• 동일한 데이터 분할과 평가 지표(MASE, sMAPE)를 사용해 M4 결과를 재현함으로써, 구현의 정확성을 검증한다.
• 모델 구성의 새로운 설정(예: 튜닝된 모델, 하이브리드 모델)을 평가하여 M4 주파수 그룹 전반(연간에서 시간별까지)에 걸쳐 M4 연구를 확장한다.

실험 결과

연구 질문

• RQ1 sktime의 새로운 예측 API는 오프더쉘프 기계학습 모델을 사용해 M4 예측 경쟁 결과를 정확하게 재현할 수 있는가?
• RQ2 M4 벤치마크에서 단순한 오프더쉘프 기계학습 모델(예: 랜덤 포레스트, XGBoost)은 통계 모델 대비 단변량 시계열 예측에서 어떻게 성능을 내는가?
• RQ3 잔차 부스팅과 같은 하이브리드 접근 방식이 예측 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 간단한 모델 튜닝 및 조합 기법(예: 파이프라인, 감소)이 특히 시간별 데이터 세트와 같은 도전적인 M4 데이터 세트에서 성능을 크게 향상시킬 수 있는가?
• RQ5 순수 기계학습 모델의 성능은 특히 시간별 예측 작업에서 M4 경쟁 우승자와 비교해 어떻게 되는가?

주요 결과

• M4 연구의 재현 결과는 단순 모델에 대해 유의미한 차이가 없고 통계 모델에 대해서는 작은 차이가 있지만, sktime의 구현을 사용할 경우 기계학습 모델에 대해 큰 성능 향상이 나타났다.
• 통계 예측을 기반으로 잔차에 기계학습을 적용하는 단순한 하이브리드 모델이 정확도를 크게 향상시키며, 특히 매일 및 매주 데이터 세트에서 두드러진다.
• 순수 기계학습 모델—특히 튜닝된 랜덤 포레스트와 XGBoost—는 시간별 데이터 세트에서 경쟁적인 성능을 달성했으며, 모든 통계 모델을 능가하고 M4 우승자 성능에 근접했다.
• 튜닝된 XGBoost-s 모델은 모든 M4 데이터 세트에서 OWA 1.131을 기록했고, 튜닝된 랜덤 포레스트(RF-t-s)는 1.047을 기록하여 주파수 전반에 걸쳐 강력한 일반화 능력을 보였다.
• 시간별 데이터 세트에서는 최고 성능을 낸 모델(XGB-t-s)이 OWA 0.746을 기록하여 통계 모델을 크게 능가했고, M4 우승자 성능에 근접했다.
• 선형 회귀 모델은 예측 값이 폭발하는 경향이 있어 결과에서 제외되었으며, 특히 저주파수 데이터 세트에서 선형 외삽의 한계를 드러냈다.