[论文解读] Multi-echelon Supply Chains with Uncertain Seasonal Demands and Lead Times Using Deep Reinforcement Learning

Júlio César Alves, Geraldo Robson Mateus|arXiv (Cornell University)|Jan 12, 2022

Supply Chain and Inventory Management被引用 5

一句话总结

本文提出一种近端策略优化（PPO2）深度强化学习方法，用于解决在不确定季节性需求和随机提前期情况下的多级供应链规划问题。在随机提前期场景中，该方法相比线性规划基线方法性能提升7.3%–11.2%；在非季节性不确定需求情况下，性能提升2.2%–4.7%，表明其在高不确定性环境下具有强大的可行性。

ABSTRACT

We address the problem of production planning and distribution in multi-echelon supply chains. We consider uncertain demands and lead times which makes the problem stochastic and non-linear. A Markov Decision Process formulation and a Non-linear Programming model are presented. As a sequential decision-making problem, Deep Reinforcement Learning (RL) is a possible solution approach. This type of technique has gained a lot of attention from Artificial Intelligence and Optimization communities in recent years. Considering the good results obtained with Deep RL approaches in different areas there is a growing interest in applying them in problems from the Operations Research field. We have used a Deep RL technique, namely Proximal Policy Optimization (PPO2), to solve the problem considering uncertain, regular and seasonal demands and constant or stochastic lead times. Experiments are carried out in different scenarios to better assess the suitability of the algorithm. An agent based on a linearized model is used as a baseline. Experimental results indicate that PPO2 is a competitive and adequate tool for this type of problem. PPO2 agent is better than baseline in all scenarios with stochastic lead times (7.3-11.2%), regardless of whether demands are seasonal or not. In scenarios with constant lead times, the PPO2 agent is better when uncertain demands are non-seasonal (2.2-4.7%). The results show that the greater the uncertainty of the scenario, the greater the viability of this type of approach.

研究动机与目标

• 解决具有不确定季节性需求和随机提前期的多级供应链中的生产计划与配送挑战。
• 将问题形式化为马尔可夫决策过程（MDP）和非线性规划（NLP）模型，以捕捉复杂的真实世界动态。
• 在多种随机场景下，评估深度强化学习（特别是PPO2）相对于线性规划（LP）基线的性能表现。
• 评估PPO2智能体在不同需求和提前期不确定性水平下的鲁棒性与适应能力。
• 证明无模型强化学习在运筹学中常见的高维、序列决策问题中的可行性。

提出的方法

• 将多级供应链正式建模为一个具有360个时间步规划周期的马尔可夫决策过程（MDP）。
• 采用近端策略优化（PPO2）——一种深度强化学习算法——端到端学习最优生产与配送策略。
• 在模拟环境中训练PPO2智能体，该环境模拟了四个层级（供应商、工厂、批发商、零售商）中的随机提前期和季节性需求模式。
• 通过超参数调优，优化PPO2在17种不同场景下的性能表现，这些场景具有不同的需求与提前期特征。
• 将基于预测需求和平均提前期训练的线性规划（LP）智能体作为基线进行对比。
• 通过100次独立测试实验评估训练后的智能体，以确保结果的统计可靠性。

实验结果

研究问题

• RQ1 PPO2能否有效处理具有不确定季节性需求和随机提前期的四级供应链中的序列决策问题？
• RQ2 在随机提前期与恒定提前期场景下，PPO2的性能与线性规划（LP）基线相比如何？
• RQ3 季节性需求模式的存在是否会影响PPO2相对于LP基线的相对性能？
• RQ4 需求与提前期的不确定性在多大程度上增强了使用深度强化学习相比传统优化方法的优势？
• RQ5 PPO2智能体是否可通过持续训练适应需求分布或产能约束的变化，而无需从头开始重新训练？

主要发现

• 在所有具有随机提前期的场景中，无论需求是否具有季节性，PPO2均比LP基线提升7.3%–11.2%。
• 在恒定提前期场景中，当需求不确定且非季节性时，PPO2相比LP基线提升2.2%–4.7%。
• 当需求具有季节性且提前期恒定时，PPO2与LP基线表现相当，表明在低不确定性条件下无显著优势。
• PPO2与基线之间的性能差距随不确定性增加而扩大，证实深度强化学习在复杂随机条件下尤为有效。
• PPO2智能体成功构建了季节性安全库存，并有效缓解了牛鞭效应，展示了各层级之间的有效协调。
• PPO2的无模型特性使其能够在无需完整重新训练的情况下，适应新场景（如需求分布变化或产能约束调整）