[論文レビュー] Profit-oriented sales forecasting: a comparison of forecasting techniques from a business perspective

Tine Van Calster, Filip Van den Bossche+2 more|arXiv (Cornell University)|Feb 3, 2020

Forecasting Techniques and Applications被引用数 4

ひとこと要約

本稿では、精度だけでなく予想されるビジネス利益に基づいて予測手法を評価する、利益志向で自動化された戦術的販売予測フレームワークを提案する。統計的手法、機械学習手法、単変量モデルを用いた35件の月次時系列データに対するベンチマークでは、単純な季節型時系列モデルが、特に利益と精度の両面で複雑な手法を常に上回ることが判明した。外部変数の導入は、高い保守コストにもかかわらず、ほとんど価値をもたらさなかった。

ABSTRACT

Choosing the technique that is the best at forecasting your data, is a problem that arises in any forecasting application. Decades of research have resulted into an enormous amount of forecasting methods that stem from statistics, econometrics and machine learning (ML), which leads to a very difficult and elaborate choice to make in any forecasting exercise. This paper aims to facilitate this process for high-level tactical sales forecasts by comparing a large array of techniques for 35 times series that consist of both industry data from the Coca-Cola Company and publicly available datasets. However, instead of solely focusing on the accuracy of the resulting forecasts, this paper introduces a novel and completely automated profit-driven approach that takes into account the expected profit that a technique can create during both the model building and evaluation process. The expected profit function that is used for this purpose, is easy to understand and adaptable to any situation by combining forecasting accuracy with business expertise. Furthermore, we examine the added value of ML techniques, the inclusion of external factors and the use of seasonal models in order to ascertain which type of model works best in tactical sales forecasting. Our findings show that simple seasonal time series models consistently outperform other methodologies and that the profit-driven approach can lead to selecting a different forecasting model.

研究の動機と目的

• 高水準の戦術的販売予測における最適な予測手法の選定という課題に取り組むこと。ここでのビジネス的影響は統計的精度をはるかに超える。
• 実用的で自動化された利益関数をモデル選択と評価に統合し、予測意思決定を実際のビジネス成果と一致させる。
• 実世界の販売環境における統計モデル、機械学習手法、外部要因を含むモデルの相対的パフォーマンスを評価すること。
• 複雑なモデル（例：機械学習）と単純な季節型モデルのどちらが販売予測においてより高い期待利益をもたらすかを特定すること。
• 長期的な保守コストを考慮した場合、外部変数を単変量予測モデルに組み込む価値があるかどうかを評価すること。

提案手法

• 予測誤差の財務的影響を、製品ごとの事前定義された利益マージンと組み合わせることで、金融的影響を定量化する新しい期待利益関数を導入する。
• 利益関数をモデル学習および評価に組み込み、期待利益を最大化するモデルの自動選択を可能にする。
• コカ・コロンの実際の販売データと公開済みデータセットを含む35件の月次時系列データを用いた包括的なベンチマークを実施する。
• モデルは3つのカテゴリに分類される：単変量季節型モデル（例：季節型ARIMA、ETS）、非季節型モデル、機械学習モデル（例：XGBoost、ニューラルネットワーク）。
• 一部のモデルに外部要因を組み込む（例：ARIMAX、外部変数を含むXGBoost）、他のモデルは単変量のままとする。
• 性能評価には従来の精度指標（例：MAE、RMSE）と利益志向指標を併用し、モデル選択は期待利益に基づく。

実験結果

リサーチクエスチョン

• RQ1 利益が評価プロセスに明示的に組み込まれた場合、どの予測手法が戦術的販売予測において最も高い期待利益をもたらすか？
• RQ2 機械学習手法は、高水準の販売予測において、精度と利益の両面で伝統的な統計モデルを上回るのか？
• RQ3 モデルの複雑さと保守コストが増加するにもかかわらず、単変量販売予測に外部要因を組み込むことは正当化されるか？
• RQ4 月次販売データにおいて、季節型モデルと非季節型モデルの精度と利益生成能力はどのように比較されるか？
• RQ5 完全に自動化された利益志向のモデル選択プロセスは、実世界の販売予測応用において、標準的な精度ベースのベンチマークを上回ることができるか？

主な発見

• 季節型時系列モデル（例：季節型ARIMA、ETS）は、精度と期待利益の両面で、他のすべての手法を一貫して上回る。
• 人気の高い機械学習モデルは、精度と利益の両面で伝統的モデルより著しく劣り、一部の先行研究とは矛盾する結果となった。
• 外部変数の導入は、予測性能や利益生成に改善をもたらさず、モデル保守コストを増加させるため、戦術的販売予測において限定的な追加価値にとどまる。
• 季節型ARIMAXモデルは、単純な単変量季節型モデルと同等の性能を示したが、追加の複雑さとデータ要件を満たす価値はないとされた。
• 利益志向の評価フレームワークは、従来の精度ベースのベンチマークとは異なる最適なモデルを特定できており、実用的意義を示している。
• 解釈可能性と計算効率の両面で優れた性能を発揮するため、単変量季節型モデルが戦術的販売予測に推奨される。