[论文解读] Approximate Bayesian Inference in Linear State Space Models for Intermittent Demand Forecasting at Scale
本文提出了一种可扩展的近似贝叶斯推断方法，用于线性状态空间模型，专为工业规模下的间歇性与突发性需求预测而设计。通过将牛顿-拉夫森优化简化为线性时间的卡尔曼平滑，该方法实现了非高斯状态空间模型中的高效最大似然估计，在包含数亿个商品-天数的真实电商业务数据集上优于现有方法。
We present a scalable and robust Bayesian inference method for linear state space models. The method is applied to demand forecasting in the context of a large e-commerce platform, paying special attention to intermittent and bursty target statistics. Inference is approximated by the Newton-Raphson algorithm, reduced to linear-time Kalman smoothing, which allows us to operate on several orders of magnitude larger problems than previous related work. In a study on large real-world sales datasets, our method outperforms competing approaches on fast and medium moving items.
研究动机与目标
- 开发一种稳健、自动化且可扩展的贝叶斯推断方法，用于大规模电子商务环境中的需求预测。
- 解决在大型产品目录中常见的间歇性与突发性需求模式下高斯假设的局限性。
- 实现对短期与长期提前期的准确分位数预测，同时整合节假日、促销活动与价格变动等特征。
- 通过卡尔曼平滑将现有近似推断方法中的计算瓶颈降低复杂度，从立方时间降至线性时间。
提出的方法
- 采用混合模型，结合广义线性模型以捕捉长期趋势与季节性，以及指数平滑以保证时间连续性与不确定性量化。
- 引入三阶段似然函数：零膨胀、单位质量分布，以及对值≥2的计数采用泊松分布，专为间歇性与突发性需求设计。
- 通过拉普拉斯近似实现近似贝叶斯推断，并重新表述为牛顿-拉夫森优化，以降低计算成本。
- 将推断计算简化为每次迭代仅需一次卡尔曼平滑遍历，实现线性时间复杂度而非立方时间，从而支持大规模数据的可扩展性。
- 提出一种新型泊松似然转移函数，在突发性需求条件下稳定拉普拉斯近似。
- 支持缺失数据与参数化似然势函数，通过卡尔曼滤波的前向与伴随传播实现高效的梯度计算。
实验结果
研究问题
- RQ1能否为线性状态空间模型开发一种可扩展的贝叶斯推断方法，以在工业规模下处理非高斯、间歇性与突发性需求模式？
- RQ2在稀疏需求场景下，结合广义线性模型与指数平滑是否能提升中长期提前期的预测准确性？
- RQ3通过牛顿-拉夫森与卡尔曼平滑实现的近似推断，是否能在保持鲁棒性与准确性的同时实现线性时间复杂度，适用于真实电商业务数据？
- RQ4所提出的多阶段似然函数与鲁棒泊松转移函数，在突发性需求环境下相比标准泊松或零膨胀模型，性能提升程度如何？
- RQ5在高维、大规模预测系统中，能否实现完全自动化、无需专家干预的参数学习？
主要发现
- 在大规模真实电商业务数据集中，该方法在快速与中速移动商品上的表现优于现有竞争方法，尤其在分位数预测准确性方面。
- 线性时间卡尔曼平滑的简化使处理数据量比以往相关工作高出数个数量级，使其在工业规模应用中成为可行方案。
- 多阶段似然函数与鲁棒泊松转移函数对性能至关重要；若缺少这些创新，在突发性数据上该方法将失效。
- 基于牛顿-拉夫森的推断结合卡尔曼平滑在真实应用场景中比基于L-BFGS的替代方案更具鲁棒性，后者在实际中常出现不收敛问题。
- 该方法成功建模了随时间缓慢漂移的时间序列模式（如随时间变化的星期几效应），而此前的模型无法捕捉此类模式。
- 该框架支持包含节假日、促销活动与价格变动等动态特征的长期预测，可实现数月以上的准确预测。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。