[논문 리뷰] AutoGluon-TimeSeries: AutoML for Probabilistic Time Series Forecasting

Oleksandr Shchur, Caner Türkmen외 5명|arXiv (Cornell University)|2023. 08. 10.

Forecasting Techniques and Applications인용 수 20

한 줄 요약

AutoGluon-TimeSeries (AG–TS)는 확률적 시계열 예측을 위한 오픈 소스 AutoML 라이브러리로, 통계적, 딥러닝 및 표형 예측기를 포함한 다양한 모델의 앙상블을 구성하여 최소 코드(3줄)로 정확한 포인트 및 분위수 예측을 제공합니다.

ABSTRACT

We introduce AutoGluon-TimeSeries - an open-source AutoML library for probabilistic time series forecasting. Focused on ease of use and robustness, AutoGluon-TimeSeries enables users to generate accurate point and quantile forecasts with just 3 lines of Python code. Built on the design philosophy of AutoGluon, AutoGluon-TimeSeries leverages ensembles of diverse forecasting models to deliver high accuracy within a short training time. AutoGluon-TimeSeries combines both conventional statistical models, machine-learning based forecasting approaches, and ensembling techniques. In our evaluation on 29 benchmark datasets, AutoGluon-TimeSeries demonstrates strong empirical performance, outperforming a range of forecasting methods in terms of both point and quantile forecast accuracy, and often even improving upon the best-in-hindsight combination of prior methods.

연구 동기 및 목표

• 사용하기 쉬운 AutoML 도구를 제공하여 확률적 시계열 예측을 민주화한다.
• 정확도와 견고성을 향상시키기 위해 통계적, DL, 표형 모델 등 다양한 예측 모델을 앙상블로 결합한다.
• 정적/시간 변화 공변량을 지원하는 포인트 및 분위수 예측 모두를 가능하게 한다.
• 경쟁력 있는 정확도와 효율성을 입증하기 위해 광범위한 벤치마크 데이터셋에서 성능을 평가한다.

제안 방법

• TimeSeriesDataFrame은 정적 및 시간에 따라 변하는 공변량을 갖는 단변량 시계열 모음을 저장한다.
• TimeSeriesPredictor는 예측 길이, 분위수 수준, 평가 지표를 포함한 예측 작업을 정의하며; 교차 검증과 선택적 하이퍼파라미터 최적화를 지원한다.
• 적합 절차는 데이터를 전처리하고, 여러 모델을 학습 평가하며, 필요 시 하이퍼파라미터를 조정하고, 순방향 선택을 통해 앙상블을 구축한다(확률적 예측을 위한 Vincentization).
• 세 가지 모델 패밀리: 지역적 고전 모델들(예: ARIMA, Theta, ETS)을 시계열별로; 글로벌 모델들(딥러닝: DeepAR, PatchTST, TFT; 표형은 AutoGluon–Tabular + MLForecast를 통해); 그리고 최종 예측을 생성하기 위한 앙상블.
• 예측 출력은 수평선에 대한 평균(포인트) 및 분위수 예측을 포함하며, 식별자(ID), 타임스탬프, 예측값이 있는 긴 형식의 DataFrame에 저장된다.

실험 결과

연구 질문

• RQ1 AutoGluon–TimeSeries가 다양한 단변량 시계열 데이터셋에서 경쟁력 있는 포인트 및 확률 예측을 제공할 수 있는가?
• RQ2 현실적인 시간 예산 하에서 앙상블 기반 AutoML 접근법이 개별 모델 및 다른 AutoML 예측 프레임워크를 능가하는가?
• RQ3 다양한 모델 가족(통계, 딥러닝, 표형) 및 앙상블의 포함이 예측 정확도와 실행 시간에 미치는 영향은 무엇인가?
• RQ4 프리셋과 시간 예산 제약이 최종 사용자에 대한 정확도와 실용성에 어떤 영향을 미치는가?

주요 결과

Framework	Wins	Losses	Ties	Failures	Champion	Average rank	Average rescaled error	Win rate vs. baseline
AutoGluon (MASE)	-	-	-	0	19	2.08	0.073	100.0%
StatEnsemble	6	20	0	3	3	3.12	0.238	82.8 %
AutoPyTorch (MASE)	4	25	0	0	2	4.12	0.257	93.1%
AutoETS	4	25	0	0	1	4.64	0.374	75.9 %
AutoTheta	4	23	0	2	0	4.92	0.427	72.4 %
DeepAR	4	24	0	1	2	5.08	0.434	93.1 %
AutoARIMA	4	22	0	3	1	5.92	0.612	79.3 %
TFT	2	27	0	0	1	6.12	0.635	75.9 %
Table 3 (points) - as listed above

• AG–TS는 29개 벤치마크 데이터셋에서 포인트 예측(MASE)과 확률 예측(wQL) 모두에 대해 평균적으로 경쟁 프레임워크를 능가한다.
• Forward selection으로 구성된 다양한 모델의 앙상블은 강한 정확도를 달성하며, 종종 최적의 과거 결합을 능가한다.
• 세 가지 모델 패밀리(통계, 딥러닝, 표형)가 성능에 의미있게 기여하며, 제거 연구에서도 모두 유용함이 나타나고, 특히 앙상블이 중요하다.
• AG–TS는 모든 데이터셋에서 4시간 예산 내에 학습 및 예측을 완료하는 등 실용적인 실행 시간을 유지하며, 평균 실행 시간은 약 33분이다.
• AutoPyTorch와 비교하여 AG–TS는 단순한 설정으로 경쟁력 있는 성능을 제공하고 대형 데이터셋에서 종종 더 빠른 결과를 얻지만, AutoPyTorch는 더 많은 튜닝과 시간이 필요할 수 있다.
• 구성 요소를 제거한 연구에서 앙상블이나 어떤 모델 패밀리도 제거하면 성능이 저하되어, 통합된 AutoML 접근법의 중요성을 강조한다.