[论文解读] Deep Controlled Learning for Inventory Control

Temizöz, Tarkan, Imdahl, Christina+3 more|arXiv (Cornell University)|Nov 30, 2020

Supply Chain and Inventory Management被引用 5

一句话总结

本文提出深度控制学习（DCL），一种专为高随机性库存控制问题设计的新型深度强化学习框架。通过结合序列减半法与通用随机数以实现高效的基于模拟的动作评估，DCL 在多种库存系统（包括缺货损失、易腐品及随机提前期）中均显著优于最先进启发式算法与标准DRL算法，且最优性差距始终不超过0.1%。

ABSTRACT

The application of Deep Reinforcement Learning (DRL) to inventory management is an emerging field. However, traditional DRL algorithms, originally developed for diverse domains such as game-playing and robotics, may not be well-suited for the specific challenges posed by inventory management. Consequently, these algorithms often fail to outperform established heuristics; for instance, no existing DRL approach consistently surpasses the capped base-stock policy in lost sales inventory control. This highlights a critical gap in the practical application of DRL to inventory management: the highly stochastic nature of inventory problems requires tailored solutions. In response, we propose Deep Controlled Learning (DCL), a new DRL algorithm designed for highly stochastic problems. DCL is based on approximate policy iteration and incorporates an efficient simulation mechanism, combining Sequential Halving with Common Random Numbers. Our numerical studies demonstrate that DCL consistently outperforms state-of-the-art heuristics and DRL algorithms across various inventory settings, including lost sales, perishable inventory systems, and inventory systems with random lead times. DCL achieves lower average costs in all test cases while maintaining an optimality gap of no more than 0.2\%. Remarkably, this performance is achieved using the same hyperparameter set across all experiments, underscoring the robustness and generalizability of our approach. These findings contribute to the ongoing exploration of tailored DRL algorithms for inventory management, providing a foundation for further research and practical application in this area.

研究动机与目标

• 为解决通用DRL算法在高随机性库存控制问题中的局限性，特别是面对需求与提前期等外生不确定性时的表现问题。
• 开发一种专为输入驱动马尔可夫决策过程（MDP-EI）设计的DRL框架，此类问题在库存系统中普遍存在，且具有不可控的随机性。
• 通过降低外生情景下成本估计的方差并优化资源分配，提升动作评估的模拟效率。
• 证明单一、一致的超参数配置可在多种库存控制问题中实现高性能，确保方法的鲁棒性与泛化能力。
• 验证定制化DRL算法是否能在真实世界库存应用中超越现有启发式算法与标准DRL方法。

提出的方法

• DCL基于近似策略迭代构建，利用神经网络在高维状态空间中表示策略与价值函数。
• 该框架采用序列减半法结合通用随机数（CRN），通过最小化成本估计的方差，高效识别多个候选动作中的最优动作。
• 通用随机数可降低不同动作间成本比较的方差，从而在更少的模拟样本下实现更准确、更可靠的动作用选择。
• 该算法根据性能估计动态分配模拟资源至有潜力的动作，提升效率与收敛速度。
• 每个状态定义一个模拟预算，总预算 $ B_{\mathbf{s}} = \mathcal{A}_{s} \cdot M $，其中 $ M $ 为外生情景的数量。
• 该方法通过在多个随机情景下估计期望成本来评估动作，确保对需求与提前期不确定性的鲁棒性。

实验结果

研究问题

• RQ1 是否可设计一种专为库存控制问题定制的DRL框架，使其性能超越通用DRL算法与成熟启发式算法？
• RQ2 在高随机性库存MDP中，使用通用随机数与序列减半法在多大程度上提升了模拟效率与动作选择准确性？
• RQ3 所提出的DCL框架在多种库存控制问题（包括缺货损失、易腐品库存及随机提前期）中表现出多强的鲁棒性？
• RQ4 当采用效率较低的策略（如无CRN的均匀分配）时，为匹配DCL的性能，所需模拟预算应为多少？
• RQ5 单一超参数配置是否可在多个结构不同的库存系统中持续实现高性能？

主要发现

• DCL在缺货损失库存控制、易腐品库存系统及随机提前期系统中均优于最先进启发式算法，实现了更低的平均成本。
• DCL在所有测试的库存控制问题中，最优性差距始终低于0.1%，表明其性能接近最优。
• 同一组超参数配置在所有问题类型中均实现高性能，证明了其强大的鲁棒性与泛化能力。
• 使用通用随机数可显著降低成本比较的方差，从而在更少模拟样本下大幅提升动作选择的准确性。
• 若不使用CRN与序列减半法，DCL 0需超过100倍的模拟样本才能匹配DCL在识别最优动作方面的性能。
• 与均匀分配或无CRN相比，序列减半法结合CRN可将最优动作正确分类率提升最多达10%。