[논문 리뷰] Wielding Occam's razor: Fast and frugal retail forecasting

Fotios Petropoulos, Yael Grushka‐Cockayne외 2명|arXiv (Cornell University)|2021. 02. 23.

Forecasting Techniques and Applications인용 수 5

한 줄 요약

이 논문은 계산 비용의 일부에 불과한 비용으로 높은 정확도를 달성하기 위해 감소된 지수평활화 및 ARIMA 모델 풀을 사용하는 빠르고 간결한 예측 프레임워크를 제안한다. 각 가족에서 가장 효과적인 모델들만 선택함으로써, 이 방법은 처리 시간, 금전적 비용, 탄소 배출량을 크게 줄이며 예측 정확도와 불확실성 추정치를 유지하거나 향상시킨다. 이는 대규모 소매업체에서 연간 108,286톤의 CO2e를 절감할 수 있음을 입증하였다.

ABSTRACT

The algorithms available for retail forecasting have increased in complexity. Newer methods, such as machine learning, are inherently complex. The more traditional families of forecasting models, such as exponential smoothing and autoregressive integrated moving averages, have expanded to contain multiple possible forms and forecasting profiles. We question complexity in forecasting and the need to consider such large families of models. Our argument is that parsimoniously identifying suitable subsets of models will not decrease forecasting accuracy nor will it reduce the ability to estimate forecast uncertainty. We propose a framework that balances forecasting performance versus computational cost, resulting in the consideration of only a reduced set of models. We empirically demonstrate that a reduced set performs well. Finally, we translate computational benefits to monetary cost savings and environmental impact and discuss the implications of our results in the context of large retailers.

연구 동기 및 목표

• 소매 예측에서 모델 복잡도가 증가하는 경향을 도전하고, 더 단순하고 계산 효율적인 모델 풀이 더 큰, 더 복잡한 가족과 경쟁하거나 그 이상의 성능을 낼 수 있는지 평가하는 것.
• 예측 풀에 포함된 모델 수를 줄이면 예측 정확도 또는 불확실성 추정에 영향을 미치는지 평가하는 것.
• 대규모 소매 예측 응용에서 작은 모델 풀을 사용할 경우 발생하는 금전적 비용과 환경적 비용 절감을 정량화하는 것.
• 기존의 오차 지표 외에도 계산 비용과 예측 가치 증대를 주요 성능 지표로 포함할 것을 주장하는 것.
• 빠르고 간결한 예측이 대규모 소매업체에서 비용, 속도, 지속 가능성 측면에서 실제로 유망하고, 오히려 더 뛰어난 성능을 낼 수 있음을 실증적으로 제시하는 것.

제안 방법

• 저자들은 실제 소매 시계열 약 100,000건에 대해 감소된 풀(10개의 지수평활화 모델(ETS)과 10개의 ARIMA 모델)을 전체 풀(30개의 ETS와 30개의 ARIMA 모델)과 비교하였다.
• 모든 시계열에 가장 적합한 모델을 최소한의 계산 오버헤드로 식별하기 위해 빠르고 간결한 선택 히우리스틱을 사용하였다.
• 예측 정확도는 MAE, MAPE, MASE를 사용해 평가하였고, 불확실성은 예측 구간 커버리지 확률(PICP)과 구간 폭으로 평가하였다.
• 완전한 풀 대비 감소된 모델 풀의 실제 실행 시간과 CO2 배출량을 측정하기 위해 클라우드 기반 계산(Google Cloud)을 활용하였다.
• 금전적 절감은 클라우드 컴퓨팅 비용 기반으로 추정되었으며, 환경적 영향은 CO2e 감소량과 나무 흡수 등가량으로 환산되었다.
• 스케일링과 강건성 확보를 위해 월마트와 카글의 월마트 매출 데이터를 포함한 여러 실세계 데이터셋에서 분석을 검증하였다.

실험 결과

연구 질문

• RQ1 감소된 예측 모델 풀이 더 큰, 더 복잡한 모델 가족에 비해 예측 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 모델 복잡도를 줄이면 예측 구간을 통한 예측 불확실성 추정의 정확도에 영향을 미치는가?
• RQ3 대규모 소매 예측에서 빠르고 간결한 모델 풀을 사용할 경우 계산 비용, 금전 지출, 탄소 배출량을 얼마나 줄일 수 있는가?
• RQ4 저순위 ARIMA 모델이 감소된 풀에서 사용될 경우 고순위 모델과 비교해 성능은 어떻게 되는가?
• RQ5 모델 선택 시 계산 효율성과 비용 효율성을 우선시할 경우 예측 가치 증대를 달성할 수 있는가?

주요 결과

• 감소된 지수평활화 풀(10개 모델)는 전체 ETS 가족(30개 모델)보다 평균적으로 더 정확한 예측을 도출하였으며, 계산 시간도 크게 단축되었다.
• 감소된 모델 풀은 예측 구간 커버리지와 폭을 향상시켜 전체 모델 세트에 비해 더 나은 불확실성 추정을 나타내었다.
• 단일 ARIMA 모델(K=1) 사용은 부적절했지만, 10개의 ARIMA 모델 풀은 훨씬 낮은 계산 비용으로 경쟁 가능한 성능을 보였다.
• 하루에 400억 개의 SKU-우편번호 조합을 예측하는 대규모 소매업체의 경우, 감소된 모델 풀을 사용하면 연간 108,286톤의 CO2e를 절감할 수 있었으며, 이는 89,000대의 자동차 배출량과 동일하거나 연간 320만 그루의 나무가 흡수하는 양과 같다.
• 감소된 모델 풀은 처리 시간을 10배 이상 단축시켜 클라우드 컴퓨팅 비용 측면에서 상당한 절감 효과를 보였다.
• 본 연구는 계산 비용과 환경 영향을 예측 모델 선택 시 주요 성능 지표로 고려해야 하며, 단지 예측 오차만을 고려하는 것은 부적절하다는 것을 입증하였다.