[论文解读] Comparing Deep Reinforcement Learning Algorithms in Two-Echelon Supply Chains

Francesco Stranieri, Fabio Stella|arXiv (Cornell University)|Apr 20, 2022

Supply Chain and Inventory Management参考文献 22被引用 4

一句话总结

本文提出一个可自定义的开源深度强化学习（DRL）环境，用于在随机和季节性需求下进行两级供应链库存管理，支持任意数量的仓库和产品类型。评估了最先进的DRL算法——PPO、A3C、VPG和BO，结果显示PPO在所有情况下均表现最佳，尤其在包含多个产品和仓库的复杂拓扑结构中接近最优性能。

ABSTRACT

In this study, we analyze and compare the performance of state-of-the-art deep reinforcement learning algorithms for solving the supply chain inventory management problem. This complex sequential decision-making problem consists of determining the optimal quantity of products to be produced and shipped across different warehouses over a given time horizon. In particular, we present a mathematical formulation of a two-echelon supply chain environment with stochastic and seasonal demand, which allows managing an arbitrary number of warehouses and product types. Through a rich set of numerical experiments, we compare the performance of different deep reinforcement learning algorithms under various supply chain structures, topologies, demands, capacities, and costs. The results of the experimental plan indicate that deep reinforcement learning algorithms outperform traditional inventory management strategies, such as the static (s, Q)-policy. Furthermore, this study provides detailed insight into the design and development of an open-source software library that provides a customizable environment for solving the supply chain inventory management problem using a wide range of data-driven approaches.

研究动机与目标

• 设计一个灵活、开源的DRL环境，用于两级供应链库存管理（SCIM），支持随机和季节性需求。
• 在不同的供应链拓扑结构、产品类型和运营配置下，比较最先进的DRL算法（PPO、A3C、VPG、BO）的性能。
• 通过与数据驱动的(s, Q)-策略和最优基准（oracle）进行对比，评估DRL的性能表现和最优性差距。
• 通过在开放科学原则下发布标准化的、兼容Gym的SCIM环境，支持可复现的研究。

提出的方法

• 使用马尔可夫决策过程（MDP）框架，形式化定义具有有限仓库容量、随机和季节性需求以及多种产品类型的两级SCIM问题。
• 使用OpenAI Gym风格的API实现一个自定义、可扩展的环境，以标准化DRL智能体的状态、动作和奖励定义。
• 应用四种DRL算法：近端策略优化（PPO）、优势行动-评论家（A3C）、价值策略梯度（VPG）以及用于超参数调优的贝叶斯优化（BO）。
• 采用利润最大化目标，对缺货和库存持有成本施加惩罚，并对及时交付和库存效率给予奖励。
• 采用数据驱动方法调优(s, Q)-策略参数，以实现与DRL智能体的公平比较。
• 在15种配置（3种场景 × 每种场景5次实验）下进行大量实验，变化因素包括仓库数量、产品类型、需求模式和成本结构。

实验结果

研究问题

• RQ1 在不同两级供应链拓扑结构和配置下，不同DRL算法（PPO、A3C、VPG、BO）在利润最大化方面的表现如何？
• RQ2 DRL智能体在复杂、随机且具有季节性的SCIM环境中，能在多大程度上超越传统(s, Q)-策略？
• RQ3 DRL智能体在性能上距离已知最优动作的最优者（oracle）有多近？
• RQ4 随着复杂度增加（如更多仓库、多种产品、更高需求波动性），DRL算法的可扩展性和鲁棒性如何变化？

主要发现

• PPO在所有场景中均实现了最高平均利润，持续优于其他DRL算法，并最接近最优者（oracle）的性能。
• 在1P1W场景中，BO接近最优性能（1226 ± 71 vs. 1474 ± 45），但在包含多个产品或仓库的更复杂设置中性能显著下降。
• 在1P3W场景中，PPO在Exp 4中实现1600 ± 62的利润（最优者为2046 ± 37），而BO仅达到1633 ± 39，表明PPO具有更优的可扩展性。
• VPG表现出稳定但次优的收敛性，通常陷入局部最优，尤其在仓库数量增加时更为明显。
• A3C和VPG在高复杂度实验中表现较差，A3C在最复杂的1P3W实验中甚至出现负利润（−2142 ± 128）。
• (s, Q)-策略虽为短视且非自适应策略，但在某些情况下仍优于A3C和VPG，凸显了部分DRL方法在复杂环境中的局限性。