[论文解读] ARMDN: Associative and Recurrent Mixture Density Networks for eRetail Demand Forecasting

S. Mukherjee, Devashish Shankar+5 more|arXiv (Cornell University)|Mar 10, 2018

Forecasting Techniques and Applications参考文献 1被引用 20

一句话总结

本文提出 AR-MDN，一种结合关联特征、循环时间建模和混合密度网络的深度学习模型，用于大规模电子零售需求预测。通过将需求建模为高斯混合分布，并融合嵌入的关联因子与基于LSTM的时间序列学习，AR-MDN 显著降低了预测误差，尤其在高波动性事件周表现更优，优于传统提升树模型和标准RNN，在大规模 Flipkart 数据集上表现更佳。

ABSTRACT

Accurate demand forecasts can help on-line retail organizations better plan their supply-chain processes. The challenge, however, is the large number of associative factors that result in large, non-stationary shifts in demand, which traditional time series and regression approaches fail to model. In this paper, we propose a Neural Network architecture called AR-MDN, that simultaneously models associative factors, time-series trends and the variance in the demand. We first identify several causal features and use a combination of feature embeddings, MLP and LSTM to represent them. We then model the output density as a learned mixture of Gaussian distributions. The AR-MDN can be trained end-to-end without the need for additional supervision. We experiment on a dataset of an year's worth of data over tens-of-thousands of products from Flipkart. The proposed architecture yields a significant improvement in forecasting accuracy when compared with existing alternatives.

研究动机与目标

• 解决由折扣、活动和促销等关联因素引起的电子零售中高度可变、非平稳需求的挑战。
• 开发一种可扩展、端到端可训练的深度学习架构，同时建模时间趋势和关联驱动因素。
• 在高影响力事件周中，相比传统方法（如 Boosted Cubist 和标准RNN），提升预测准确性。
• 实现在 SKU × 仓储中心 × 每周层级的准确、概率性需求预测，以支持库存补货。
• 验证专家设计特征与混合神经架构在多模态零售预测中的有效性。

提出的方法

• 使用嵌入表示对分类关联特征（如折扣、活动、产品类别）进行编码，并通过多层感知机（MLP）处理。
• 利用堆叠的长短期记忆网络（LSTM）捕捉时间序列模式，处理历史需求序列。
• 输出层采用混合密度网络（MDN）将完整预测分布建模为高斯分量的混合，实现不确定性感知的预测。
• 通过门控分阶段前馈机制，在 MDN 输出生成前融合关联特征与循环特征。
• 采用负对数似然损失函数进行端到端训练，以优化预测密度的准确性。
• 采用实用的训练策略，平衡混合分量中的稀疏性与多样性，以提升在稀疏需求模式下的泛化能力。

实验结果

研究问题

• RQ1 结合关联特征与循环时间建模的混合深度学习模型，是否能在电子零售需求预测中超越传统回归与时间序列模型？
• RQ2 混合密度网络在波动性零售环境中，对捕捉需求不确定性与多峰行为的效能如何？
• RQ3 专家设计的特征在长周期预测中，对提升预测性能的贡献程度如何？
• RQ4 在高影响力事件周中，引入关联因素是否显著提升了预测准确性？
• RQ5 AR-MDN 架构与消融变体（如无关联特征或无MDN）相比，在鲁棒性与准确性方面表现如何？

主要发现

• AR-MDN 在事件周期的平均 wMAPE 为 34.59%，显著优于 Boosted Cubist 模型的 40.74% wMAPE。
• 引入关联特征显著降低了误差，尤其在预测周期更长时，仅依赖循环特征的模型可靠性下降。
• 混合密度网络（MDN）组件提供了更强的抗噪能力，并在存在潜在变量和不可预测激增的事件周期中表现更优。
• AR-MDN 在所有消融变体中表现最佳，包括无MDN或无关联分支的模型，证明了完整混合架构的必要性。
• 结合循环特征与关联特征，并采用MDN输出的模型取得了最佳性能，证实了时间与关联特征融合的价值。
• 手工设计的特征（如价格趋势、折扣滞后、活动临近指标）显著降低了预测误差，尤其在长周期预测中表现突出。