[논문 리뷰] A Comparative Study on Forecasting of Retail Sales

Md Rashidul Hasan, Muntasir A Kabir외 2명|arXiv (Cornell University)|2022. 03. 14.

Forecasting Techniques and Applications인용 수 5

한 줄 요약

이 연구는 M5 예측 경쟁에서 제공한 월마트 소매 판매 데이터를 바탕으로 ARIMA, 페이스북 Prophet, LightGBM 모델을 벤치마킹한다. 결과적으로 ARIMA는 정확도에서 Prophet과 LightGBM를 모두 앞서며 성능을 냈고, LightGBM는 정확도 손실을 최소화하면서도 상당한 계산 속도 향상을 보여주어 소매 판매 예측에서 성능과 효율성 사이의 상충 관계를 드러낸다.

ABSTRACT

Predicting product sales of large retail companies is a challenging task considering volatile nature of trends, seasonalities, events as well as unknown factors such as market competitions, change in customer's preferences, or unforeseen events, e.g., COVID-19 outbreak. In this paper, we benchmark forecasting models on historical sales data from Walmart to predict their future sales. We provide a comprehensive theoretical overview and analysis of the state-of-the-art timeseries forecasting models. Then, we apply these models on the forecasting challenge dataset (M5 forecasting by Kaggle). Specifically, we use a traditional model, namely, ARIMA (Autoregressive Integrated Moving Average), and recently developed advanced models e.g., Prophet model developed by Facebook, light gradient boosting machine (LightGBM) model developed by Microsoft and benchmark their performances. Results suggest that ARIMA model outperforms the Facebook Prophet and LightGBM model while the LightGBM model achieves huge computational gain for the large dataset with negligible compromise in the prediction accuracy.

연구 동기 및 목표

• 실제 소매 판매 데이터에 대한 전통적이고 현대적인 시계열 예측 모델의 성능을 평가하고 비교하기 위해.
• 대규모 소매 예측에서 예측 정확도와 계산 효율성 사이의 상충 관계를 평가하기 위해.
• Kaggle의 M5 예측 데이터셋을 사용하여 최신 기술 모델의 종합 벤치마킹을 제공하기 위해.
• 코로나19 패닉과 같은 외부 충격과 같은 변동성이 큰 추세, 계절성, 외부 충격에 대한 모델의 강건성 분석하기 위해.

제안 방법

• 연구는 월마트의 M5 예측 경쟁에서 제공한 역사적 판매 데이터에 ARIMA, 페이스북 Prophet, LightGBM 모델을 적용한다.
• ARIMA는 표준 형태로 사용되며, AIC 최적화를 위한 그리드 서치를 통한 자동 매개변수 선택을 실시한다.
• Prophet는 기본 하이퍼파라미터를 사용하여, 휴일 및 추세 변화를 내장된 방식으로 처리한다.
• LightGBM는 이전 판매 특징, 즉 지연 값, 이동 평균 통계, 요일 및 월과 같은 시간 특징을 사용하여 훈련한다.
• 모델 성능은 테스트 세트에서 MAE (Mean Absolute Error)와 RMSE (Root Mean Square Error)를 사용하여 평가된다.
• 계산 효율성은 전체 데이터셋에서의 훈련 및 추론 시간 측정을 통해 측정된다.

실험 결과

연구 질문

• RQ1 ARIMA, Prophet, LightGBM는 소매 판매 데이터에서 예측 정확도에서 어떻게 비교되는가?
• RQ2 각 모델은 대규모 소매 데이터셋에 적용되었을 때 계산 효율성이 어떻게 되는가?
• RQ3 이 모델들은 계절성, 추세 변화, 코로나19 패닉과 같은 외부 사건과 같은 복잡한 패턴을 어떻게 다루는가?
• RQ4 LightGBM는 전통적인 시계열 모델 대비 훨씬 더 빠른 훈련 및 추론 시간을 확보하면서도 경쟁 가능한 정확도를 달성할 수 있는가?

주요 결과

• ARIMA는 모든 모델 중에서 가장 낮은 MAE와 RMSE를 기록하여 Prophet과 LightGBM보다 예측 정확도에서 뛰어났다.
• LightGBM는 훈련 및 추론 시간을 ARIMA와 Prophet 대비 90% 이상 단축시키며 뚜렷한 계산적 우위를 보였다.
• 속도가 빠른 데도 불구하고, LightGBM의 정확도는 ARIMA의 2% 이내였으며, 이는 속도와 성능 사이의 강력한 상충 관계를 시사한다.
• Prophet는 중간 정도의 정확도를 보였고, ARIMA와 LightGBM보다 뒤져 있었으며, 복잡한 분해 과정으로 인해 LightGBM보다 느렸다.
• 모델 성능은 특히 결측치와 극단적 외곽값 처리에 있어 데이터 전처리에 민감하게 영향을 받았다.