[論文レビュー] Predicting Future Sales of Retail Products using Machine Learning

Devendra Swami, Alay Shah+1 more|arXiv (Cornell University)|Aug 18, 2020

Forecasting Techniques and Applications参考文献 4被引用数 14

ひとこと要約

本論文は、1C社のスケールの大きなロシア語時系列データセットを用いて、XGBoost、LSTM、ARIMAの3つの手法を用いた小売販売予測を評価している。XGBoostはLSTMおよびARIMAを上回り、テストRMSE 0.878を達成した。その要因は、特徴工学の効果的実施およびデータセットに見られるスパースなデータパターンの優れた処理にあるとされる。

ABSTRACT

Techniques for making future predictions based upon the present and past data, has always been an area with direct application to various real life problems. We are discussing a similar problem in this paper. The problem statement is provided by Kaggle, which also serves as an ongoing competition on the Kaggle platform. In this project, we worked with a challenging time-series dataset consisting of daily sales data, kindly provided by one of the largest Russian software firms - 1C Company. The objective is to predict the total sales for every product and store in the next month given the past data. In order to perform forecasting for next month, we have deployed eXtreme Gradient Boosting (XGBoost) and Long Short Term Memory (LSTM) based network architecture to perform learning task. Root mean squared error (RMSE) between the actual and predicted target values is used to evaluate the performance, and make comparisons between the deployed algorithms. It has been found that XGBoost fared better than LSTM over this dataset which can be attributed to its relatively higher sparsity.

研究の動機と目的

• 歴史的販売データを用いて、各商品-店舗組み合わせの月次販売高を予測すること。
• 実世界の小売時系列データセット上で、XGBoost、LSTM、ARIMAモデルの性能を比較すること。
• 特にラグ特徴量とカテゴリカルエンコーディングの特徴工学がモデル性能に与える影響を評価すること。
• Fスコアによる重要度を用いて、XGBoostモデルにおける最も影響力のある特徴量を同定すること。
• 深層学習（LSTM）および伝統的な統計モデル（ARIMA）が、スパースで高次元の小売データに適用可能かどうかを検討すること。

提案手法

• バリデーションセットを用いたグリッドサーチによるハイパーパramータチューニングを実施したXGBoostを、ラグ特徴量、カテゴリカルエンコーディングを組み合わせて適用した。
• 静的特徴量（例：item_id、shop_id）と動的特徴量（例：item_count、price）を時系列にわたり統合処理するカスタマイズされたLSTMアーキテクチャを実装した。
• 個々の商品-店舗組み合わせごとに個別にモデルをフィッティングすることで、ARIMAを単変量予測に用いた。
• 訓練、バリデーション、テストの各セットでRMSEを主評価指標として採用した。
• 対象変数のクリッピングと欠損値処理を含む、広範な探索的データ分析（EDA）およびデータクリーニングを実施した。
• XGBoostおよびLSTMのハイパーパramータチューニングに、ランダムグリッドサーチを用い、学習率、深さ、正則化、バッチサイズに焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 XGBoostは、スパースな小売販売時系列データにおいて、深層学習（LSTM）および古典的統計モデル（ARIMA）を上回る性能を示すか？
• RQ2 ラグ特徴量およびカテゴリカルエンコーディングは、時系列販売予測におけるモデル性能にどのように影響するか？
• RQ3 Fスコアによる特徴量重要度は、XGBoostにおける入力変数の予測力の程度をどの程度反映しているか？
• RQ4 カスタマイズされたLSTMアーキテクチャは、小売販売文脈において静的および動的特徴量を効果的にモデル化できるか？
• RQ5 ハイパーパramータチューニングは、異なるモデルにおいて最適な性能を達成するために果たす役割は何か？

主な発見

• XGBoostは、テストRMSE 0.878を達成し、LSTM（0.924）およびARIMA（1.093）を上回った。
• XGBoostモデルは、訓練時とバリデーション時のRMSEに低いばらつき（0.764 vs. 0.807）を示し、安定した一般化性能を示した。
• ラグ特徴量（例：target_item_lag_1）が最も重要な予測変数であり、Fスコアは3034であった。
• XGBoostにおける上位5つの重要特徴量は、item_id（4168）、target_item_lag_1（3034）、enc_shop_id_category（2845）、item_category（2738）、date_block_num（2515）であった。
• LSTMはよりきめ細やかなハイパーパramータチューニングを要し、アーキテクチャのカスタマイズにもかかわらず、このデータセットではXGBoostに劣った。
• ARIMAは3つのモデルの中で最も成績が悪く、テストRMSE 1.093を記録した。これは、多変量かつスパースな小売データ処理における限界を示している。