[论文解读] Intermittent Demand Forecasting with Deep Renewal Processes

Ali Caner Türkmen, Yuyang Wang+1 more|arXiv (Cornell University)|Nov 23, 2019

Forecasting Techniques and Applications参考文献 81被引用 9

一句话总结

本文提出深度更新过程（DRP）用于间歇性需求预测，通过使用循环神经网络对事件间隔时间和需求规模进行建模，将问题置于离散时间与连续时间更新过程的框架内。该方法在概率预测方面显著优于传统的基于Croston的方法，在基准数据集上，DRP将分位数损失降低了高达55%。

ABSTRACT

Intermittent demand, where demand occurrences appear sporadically in time, is a common and challenging problem in forecasting. In this paper, we first make the connections between renewal processes, and a collection of current models used for intermittent demand forecasting. We then develop a set of models that benefit from recurrent neural networks to parameterize conditional interdemand time and size distributions, building on the latest paradigm in "deep" temporal point processes. We present favorable empirical findings on discrete and continuous time intermittent demand data, validating the practical value of our approach.

研究动机与目标

• 解决在电子商务、制造和物流中常见的稀疏、间歇性需求发生问题。
• 克服传统方法（如Croston方法）的局限性，这些方法依赖于具有固定假设的启发式、局部模型，且不确定性估计能力差。
• 开发一种全局、数据驱动的方法，利用循环神经网络学习多个时间序列中事件间隔时间和需求规模的灵活、条件分布。
• 弥合应用统计学中的更新过程与机器学习中现代深度时间点过程之间的差距，实现具有不确定性量化的概率预测。
• 在真实世界数据集上验证该方法，证明其在预测准确性和对静态及修改后的Croston模型的鲁棒性方面均表现更优。

提出的方法

• 将间歇性需求建模为带标记的自调节更新过程，其中事件间隔时间 $ Q_i $ 和需求规模 $ M_i $ 通过潜在状态与过去事件条件相关。
• 使用基于LSTM的循环网络对 $ Q_i $ 和 $ M_i $ 的条件分布进行参数化，用学习到的动态分布替代固定的参数假设。
• 对于离散时间数据，将 $ Q_i $ 建模为负二项分布，$ M_i $ 建模为负二项分布，其参数由LSTM从先前事件历史中预测。
• 对于连续时间数据，将到达间隔时间 $ \tilde{Q}_j $ 建模为伽马分布，需求规模 $ \tilde{M}_j $ 建模为泊松分布，其参数由LSTM从先前事件生成。
• 使用基于似然的推断进行模型训练，利用更新过程的结构实现相对于事件数量线性时间的高效训练。
• 实现一种全局RNN架构，其中LSTM参数在所有时间序列间共享，从而实现从稀疏需求到长尾需求商品的知识迁移。

实验结果

研究问题

• RQ1 基于更新过程的深度学习模型是否能相比传统基于Croston的方法，提升间歇性需求的概率预测准确性？
• RQ2 循环神经网络如何增强在稀疏、非独立同分布需求数据中对条件事件间隔时间与需求规模分布的建模能力？
• RQ3 在拥有精确时间戳的情况下，将需求建模为连续时间与离散时间对预测性能有何影响？
• RQ4 全局共享的RNN架构能否有效从多个时间序列中的稀疏需求模式中学习，从而提升对低频商品的泛化能力？
• RQ5 所提出的深度更新过程模型在不确定性量化和损失最小化（如分位数损失）方面，与现有基准相比表现如何？

主要发现

• 在Parts数据集上，离散时间深度更新过程（DRP）模型相比静态Croston模型，P50QL（中位数损失）相对降低了22.2%（2.835 vs. 3.643）。
• 在UCI零售数据集上，离散时间DRP相比静态Croston模型将P90QL（第90百分位数损失）降低了35.7%（1.601 vs. 2.495）。
• 在UCI数据集上，连续时间DRP模型的P90QL为4.295，优于静态Croston模型（7.979）和修改后的Croston模型（8.371）。
• 在UCI数据集上，连续时间DRP相比离散时间DRP在P90QL上提升了4.4%，尽管由于数据有限，该差异尚不具有决定性。
• 全局RNN架构实现了有效的知识迁移，通过利用所有时间序列中的模式，提升了对低频商品的预测性能。
• 所提出方法实现了线性时间的似然推断，使其在大规模商品目录的实际库存预测中具备可扩展性和实用性。