[論文レビュー] Multivariate Arrival Times with Recurrent Neural Networks for Personalized Demand Forecasting

Tianle Chen, Brian Keng+1 more|arXiv (Cornell University)|Dec 29, 2018

Forecasting Techniques and Applications参考文献 21被引用数 3

ひとこと要約

本稿では、censoredおよび部分的に観測されたデータの効果的取り扱いを可能にするために、負の対数尤度損失を用いて購買間隔時間の分布的パラメータをモデリングすることで、個別化された需要を同時に予測する新しい再帰的ニューラルネットワークモデルであるMAT-RNNを提案する。この手法は、複数の製品カテゴリーにおいてROC-AUCで最先端の性能を達成し、個々のSKUで最大+0.1098の向上を達成している。

ABSTRACT

Access to a large variety of data across a massive population has made it possible to predict customer purchase patterns and responses to marketing campaigns. In particular, accurate demand forecasts for popular products with frequent repeat purchases are essential since these products are one of the main drivers of profits. However, buyer purchase patterns are extremely diverse and sparse on a per-product level due to population heterogeneity as well as dependence in purchase patterns across product categories. Traditional methods in survival analysis have proven effective in dealing with censored data by assuming parametric distributions on inter-arrival times. Distributional parameters are then fitted, typically in a regression framework. On the other hand, neural-network based models take a non-parametric approach to learn relations from a larger functional class. However, the lack of distributional assumptions make it difficult to model partially observed data. In this paper, we model directly the inter-arrival times as well as the partially observed information at each time step in a survival-based approach using Recurrent Neural Networks (RNN) to model purchase times jointly over several products. Instead of predicting a point estimate for inter-arrival times, the RNN outputs parameters that define a distributional estimate. The loss function is the negative log-likelihood of these parameters given partially observed data. This approach allows one to leverage both fully observed data as well as partial information. By externalizing the censoring problem through a log-likelihood loss function, we show that substantial improvements over state-of-the-art machine learning methods can be achieved. We present experimental results based on two open datasets as well as a study on a real dataset from a large retailer.

研究の動機と目的

• 個別化された需要予測における、製品ごとの著しい異質性と希少な顧客購買パターンの課題に対処すること。
• パラメトリックな仮定や線形共変量に依存する従来の生存モデルの限界を克服すること。
• 深層学習の柔軟性と生存分析の統計的厳密性を組み合わせ、部分的に観測された順序付き購買データに適応すること。
• 完全に観測されたデータとcensoredデータの両方を活用しながら、複数製品の購買間隔時間を同時にモデリングすること。
• RNNを用いて購買間隔時間の分布的推定を行うことで、将来の購買予測の精度を向上させること。

提案手法

• モデルは、各時刻における購買間隔時間のワイブル分布のパラメータを予測するためのシーケンス・ツー・シーケンスRNNアーキテクチャを用いる。
• 各時刻において、履歴的購買シーケンスに条件づけられた、次回の購買までの時間までの分布パラメータ（スケールおよび形状）を出力する。
• 損失関数は、観測済みまたはcensoredされた購買間隔時間の負の対数尤度であり、部分的に観測されたデータ上でエンド・ツー・エンドの学習を可能にする。
• モデルは、不完全な購買間隔時間の条件付き生存確率および確率密度を計算することで、censoredデータを明示的に処理する。
• censoringは尤度最大化によって外部化され、RNNが下位のハザード関数のパラメトリックな形を仮定せずに、複雑な時系列依存性を学習できる。
• モデルは、完全な観測と不完全な観測の両方を統合した尤度ベースの目的関数を用いて学習され、希少データにおける一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、censoredおよび部分的に観測されたデータを効果的にモデリングしながら、複数製品の購買間隔時間を同時に予測できるか？
• RQ2 RNNを用いて購買間隔時間の分布的パラメータをモデリングすることは、ポイント推定回帰や標準的なRNNと比較して、生存予測において優れた性能をもたらすか？
• RQ3 個別製品のモデリングと比較して、複数製品の同時モデリングは、予測性能およびパラメータ効率の観点でどのように異なるか？
• RQ4 標準的な二乗誤差損失と比較して、尤度ベースの学習目的関数は、希少で現実の小売データに適した性能をどの程度向上させるか？
• RQ5 生存分析の原則とRNNの統合は、多様な製品カテゴリーにおける次回購買予測のROC-AUCに顕著な向上をもたらすか？

主な発見

• MAT-RNNは、ROC-AUCにおいて最先端の機械学習手法を上回り、個々の製品SKUで+0.0029から+0.1098の向上を達成している。
• 実小売データセットの5つの製品カテゴリーのうち4つで、特に高インパクトなSKUにおいてAUCに顕著な向上を示している。
• 複数製品の同時モデリングは、パrameter数が少ない状況でも、単一製品モデルよりも一貫して優れた性能を発揮している。
• ベンチマークおよび合成データセットにおいて、従来の生存モデルや二乗誤差損失で学習された標準RNNと比較して、同モデルは同等または優れた性能を示している。
• 負の対数尤度損失の使用により、完全観測とcensored観測の両方からの効果的な学習が可能となり、希少データでも頑健な性能が得られている。
• 本モデルは、ターゲティング広告へのスケーラビリティの可能性を示しているが、メモリおよびETLの制約のため、在庫全体への展開は今後の課題である。