[논문 리뷰] Profit-oriented sales forecasting: a comparison of forecasting techniques from a business perspective

Tine Van Calster, Filip Van den Bossche외 2명|arXiv (Cornell University)|2020. 02. 03.

Forecasting Techniques and Applications인용 수 4

한 줄 요약

이 논문은 정확도 외에도 예상 사업 수익을 고려해 예측 기법을 평가하는 수익 중심의 자동화된 프레임워크를 제안한다. 통계적, 기계학습 및 단변량 모델을 사용해 35개의 월간 시계열을 벤치마킹한 결과, 단순한 계절성 시계열 모델이 복잡한 방법보다 일관되게 뛰어난 성능을 보였으며, 특히 수익성과 정확도 측면에서 뛰어나다. 외부 변수는 유지보수 비용이 더 높음에도 불구하고 추가 가치가 거의 없다.

ABSTRACT

Choosing the technique that is the best at forecasting your data, is a problem that arises in any forecasting application. Decades of research have resulted into an enormous amount of forecasting methods that stem from statistics, econometrics and machine learning (ML), which leads to a very difficult and elaborate choice to make in any forecasting exercise. This paper aims to facilitate this process for high-level tactical sales forecasts by comparing a large array of techniques for 35 times series that consist of both industry data from the Coca-Cola Company and publicly available datasets. However, instead of solely focusing on the accuracy of the resulting forecasts, this paper introduces a novel and completely automated profit-driven approach that takes into account the expected profit that a technique can create during both the model building and evaluation process. The expected profit function that is used for this purpose, is easy to understand and adaptable to any situation by combining forecasting accuracy with business expertise. Furthermore, we examine the added value of ML techniques, the inclusion of external factors and the use of seasonal models in order to ascertain which type of model works best in tactical sales forecasting. Our findings show that simple seasonal time series models consistently outperform other methodologies and that the profit-driven approach can lead to selecting a different forecasting model.

연구 동기 및 목표

• 고위 전략적 영업 예측에서 통계적 정확도를 넘어서는 사업 영향을 고려한 최적의 예측 기법 선택 문제를 해결하기 위해.
• 실제 사업 결과와 연계된 실용적이고 자동화된 수익 함수를 모델 선택 및 평가에 통합하여 예측 선택을 실제 사업 성과와 일치시키기 위해.
• 실제 영업 환경에서 통계 모델, 기계학습 기법, 외부 요소를 포함한 모델의 상대적 성능을 평가하기 위해.
• 복잡한 모델(예: 기계학습)이 전략적 영업 예측에서 더 높은 예상 수익을 낼 수 있는지 여부를 확인하기 위해.
• 장기적인 유지보수 비용을 고려할 때 외부 변수를 단변량 예측 모델에 포함시키는 것이 가치가 있는지 평가하기 위해.

제안 방법

• 예측 오차의 재무적 영향을 제품당 정해진 마진과 결합함으로써 재무적 영향을 정량화하는 새로운 기대 수익 함수를 도입한다.
• 이 수익 함수를 모델 훈련 및 평가 과정에 통합하여 예상 수익을 최대화하는 모델을 자동으로 선택할 수 있도록 한다.
• 코카콜라 컴퍼니의 실제 영업 데이터 및 공개된 데이터셋을 포함한 35개의 월간 시계열에 대한 종합적인 벤치마크를 수행한다.
• 모델은 세 가지 범주로 분류된다: 단변량 계절성 모델(예: 계절성 ARIMA, ETS), 비계절성 모델, 기계학습 모델(예: XGBoost, 신경망).
• 일부 모델에는 외부 요소를 통합(예: ARIMAX, 외부 변수를 포함한 XGBoost)하고, 나머지는 단변량 그대로 유지한다.
• 모델 선택은 기존의 정확도 지표(예: MAE, RMSE) 외에도 수익 중심 지표를 사용하여 평가하며, 기대 수익을 기반으로 한다.

실험 결과

연구 질문

• RQ1 평가 과정에서 수익을 명시적으로 모델링할 경우, 어떤 예측 기법이 전술적 영업 예측에서 가장 높은 기대 수익을 낼 수 있는가?
• RQ2 기계학습 기법이 고위 영업 예측에서 정확도와 수익 측면에서 전통적 통계 모델을 능가하는가?
• RQ3 외부 요소를 단변량 영업 예측 모델에 포함시키는 것이 모델 복잡성과 유지보수 비용 증가를 감안할 때 정당한가?
• RQ4 계절성 모델과 비계절성 모델은 월간 영업 데이터 예측 정확도와 수익 창출 측면에서 어떻게 비교되는가?
• RQ5 순수하게 자동화된 수익 중심의 모델 선택 프로세스가 실제 영업 예측 응용에서 기존의 정확도 기반 기준을 능가할 수 있는가?

주요 결과

• 계절성 ARIMA 및 ETS와 같은 단순한 계절성 시계열 모델은 정확도와 기대 수익 모두에서 다른 모든 기법보다 일관되게 뛰어난 성능을 보였다.
• 기계학습 모델은 인기 있음에도 불구하고 정확도와 수익 측면에서 전통적 모델보다 유의미하게 열등한 성능을 보였으며, 일부 이전 연구와는 정반대되는 결과를 보였다.
• 외부 변수를 포함시키는 것은 예측 성능 향상이나 수익 창출에 기여하지 않으며 유지보수 비용만 증가시켜 전술적 영업 예측에 있어 추가 가치가 제한적임을 시사한다.
• 계절성 ARIMAX 모델은 단순한 단변량 계절성 모델과 유사한 성능을 보였지만, 추가적인 복잡성과 데이터 요구 조건을 감안할 때 그에 상응하는 이점이 없었다.
• 수익 중심 평가 프레임워크는 기존의 정확도 기반 기준과 다른 최적의 모델을 성공적으로 식별하였으며, 실용적 적용가치를 입증하였다.
• 단순한 계절성 모델은 성능, 해석 가능성, 계산 효율성 측면에서 전술적 영업 예측에 권장된다.