[论文解读] Deep Inventory Management

Dhruv Madeka, Kari Torkkola+4 more|arXiv (Cornell University)|Oct 6, 2022

Supply Chain and Inventory Management被引用 8

一句话总结

本文提出了一种深度强化学习方法——DirectBackprop，用于在复杂现实条件下（包括随机交货期、缺货损失、需求相关性以及价格匹配）进行周期性审查的库存管理。通过将历史数据转化为可微分模拟器，该方法实现了基于模型的强化学习，其表现优于经典的报童策略和无模型强化学习，在模拟回测中实现23%的性能提升，在真实世界部署中实现12%的库存降低，且未造成收入损失。

ABSTRACT

This work provides a Deep Reinforcement Learning approach to solving a periodic review inventory control system with stochastic vendor lead times, lost sales, correlated demand, and price matching. While this dynamic program has historically been considered intractable, our results show that several policy learning approaches are competitive with or outperform classical methods. In order to train these algorithms, we develop novel techniques to convert historical data into a simulator. On the theoretical side, we present learnability results on a subclass of inventory control problems, where we provide a provable reduction of the reinforcement learning problem to that of supervised learning. On the algorithmic side, we present a model-based reinforcement learning procedure (Direct Backprop) to solve the periodic review inventory control problem by constructing a differentiable simulator. Under a variety of metrics Direct Backprop outperforms model-free RL and newsvendor baselines, in both simulations and real-world deployments.

研究动机与目标

• 解决在随机交货期、缺货损失、需求相关性以及外生价格匹配条件下周期性审查库存控制的不可解性问题。
• 开发一种方法，利用历史数据作为模拟器，而无需显式建模状态动态。
• 设计一个可微分模拟器，以支持通过反向传播进行端到端神经策略训练。
• 在模拟环境和跨10,000种产品的大规模真实世界部署中，实证验证该方法的有效性。
• 证明基于模型的强化学习可在复杂库存系统中超越经典和现代强化学习基线。

提出的方法

• 作者通过纠正离策略数据和删失效应，将历史数据转化为模拟器，从而实现对库存状态演化的模拟。
• 他们提出一种可微分模拟器，用于建模完整的库存动态，包括交货期、需求和价格匹配，支持基于梯度的优化。
• 核心算法DirectBackprop通过在可微分模拟器中反向传播，直接优化策略目标，绕过了价值函数近似。
• 该方法将库存系统视为交互式决策过程（IDP），其中状态转移是已知且可微的。
• 提出了一种新颖的数据校正技术，以处理因缺货损失而产生的未观测需求和删失观测，从而提高模拟器的保真度。
• 该方法基于理论可学习性结果，证明在特定条件下可将强化学习问题转化为监督学习。

实验结果

研究问题

• RQ1 是否可以将历史数据转化为可靠且可微分的模拟器，用于库存控制，而无需显式建模需求或交货期分布？
• RQ2 在具有缺货损失和随机交货期的库存系统中，基于可微分模拟器的基于模型强化学习方法是否优于无模型强化学习和经典报童策略？
• RQ3 当在包含删失观测和离策略行为的真实历史数据上进行训练时，深度强化学习策略在多大程度上能学习到有效的库存策略？
• RQ4 DirectBackprop算法对现实世界复杂性（如需求相关性和外生价格变动）是否具有鲁棒性？
• RQ5 在大规模部署中，能否实证验证特定子类库存问题的理论可学习性结果？

主要发现

• 在模拟回测中，DirectBackprop策略相比报童基线实现了23%的奖励提升，证明了其在真实条件下的强大性能。
• 在为期26周、覆盖10,000种产品的实际部署中，DirectBackprop代理将库存水平降低了12%，且收入无显著差异。
• DirectBackprop在模拟和真实世界环境中均优于所有非Oracle策略，实现了更高的奖励，同时订购更少的库存。
• 可微分模拟器实现了有效的策略训练，而无需显式建模需求或交货期分布，减少了对参数假设的依赖。
• 该方法成功处理了需求相关性、随机交货期和价格匹配，这些因素通常会使经典动态规划方法失效。
• 理论结果表明，在特定条件下，强化学习问题可被简化为监督学习，为实证成功提供了理论基础。