[论文解读] Learning to Optimize Industry-Scale Dynamic Pickup and Delivery Problems

Li Xijun, Weilin Luo+6 more|arXiv (Cornell University)|May 27, 2021

Transportation and Mobility Innovations参考文献 24被引用 4

一句话总结

本文提出 ST-DDGN，一种数据驱动的深度强化学习框架，结合时空需求预测与基于图的值函数学习，利用注意力机制图神经网络和 Double DQN 解决大规模动态取送货问题。与真实工业数据中的强基线相比，该方法将车辆使用量减少 11.27%，总运输成本降低 13.12%。

ABSTRACT

The Dynamic Pickup and Delivery Problem (DPDP) is aimed at dynamically scheduling vehicles among multiple sites in order to minimize the cost when delivery orders are not known a priori. Although DPDP plays an important role in modern logistics and supply chain management, state-of-the-art DPDP algorithms are still limited on their solution quality and efficiency. In practice, they fail to provide a scalable solution as the numbers of vehicles and sites become large. In this paper, we propose a data-driven approach, Spatial-Temporal Aided Double Deep Graph Network (ST-DDGN), to solve industry-scale DPDP. In our method, the delivery demands are first forecast using spatial-temporal prediction method, which guides the neural network to perceive spatial-temporal distribution of delivery demand when dispatching vehicles. Besides, the relationships of individuals such as vehicles are modelled by establishing a graph-based value function. ST-DDGN incorporates attention-based graph embedding with Double DQN (DDQN). As such, it can make the inference across vehicles more efficiently compared with traditional methods. Our method is entirely data driven and thus adaptive, i.e., the relational representation of adjacent vehicles can be learned and corrected by ST-DDGN from data periodically. We have conducted extensive experiments over real-world data to evaluate our solution. The results show that ST-DDGN reduces 11.27% number of the used vehicles and decreases 13.12% total transportation cost on average over the strong baselines, including the heuristic algorithm deployed in our UAT (User Acceptance Test) environment and a variety of vanilla DRL methods. We are due to fully deploy our solution into our online logistics system and it is estimated that millions of USD logistics cost can be saved per year.

研究动机与目标

• 为解决传统启发式与基于优化的方法在真实世界不确定性下处理大规模动态取送货问题的局限性。
• 开发一种可扩展、数据驱动的强化学习框架，以捕捉时空需求模式与车辆之间的相互作用。
• 通过将时空预测与图网络对车辆的关联建模相结合，提升解决方案的质量与效率。
• 实现端到端的调度策略学习，使其能够适应动态、实时的订单到达与复杂的企业约束。
• 在真实工业部署环境中，性能优于强基线，包括启发式方法与原始 DRL 方法。

提出的方法

• 该方法将 DPDP 建模为以路径为中心的马尔可夫决策过程（MDP），以支持深度强化学习。
• 采用时空预测模型，对 27 家工厂与 144 个时间区间的配送需求分布进行预测，以指导策略学习。
• 基于图的值函数利用注意力机制图神经网络，对车辆之间的关系进行建模，以捕捉合作与竞争关系。
• 框架结合 Double DQN（DDQN）与图嵌入技术，以稳定训练过程并提升策略泛化能力。
• ST Score 由时空需求与容量分布推导得出，引导智能体在时空维度上实现供需平衡。
• 模型使用真实物流数据进行端到端训练，策略更新同时依赖即时奖励与长期时空平衡。

实验结果

研究问题

• RQ1 深度强化学习框架能否有效学习在存在未来订单不确定性的大规模动态取送货场景中进行车辆调度？
• RQ2 将时空需求预测整合到基于图的 DRL 策略中，能否提升其性能与收敛速度？
• RQ3 通过图网络对车辆进行关系建模，在多车辆路径规划中能在多大程度上提升协调性并减少次优性？
• RQ4 引入一种将供需分布对齐的 ST Score 指标，是否能加快并提升策略学习效果？
• RQ5 在真实工业环境中，所提出的 ST-DDGN 框架相较于启发式方法与原始 DRL 基线，在性能与可扩展性方面表现如何？

主要发现

• 与强基线相比，ST-DDGN 平均将车辆使用量减少 11.27%，包括 UAT 环境中使用的启发式算法。
• 与相同基线相比，该方法将总运输成本降低 13.12%，展现出显著的成本节约。
• ST-DDGN 比 DDGN 提前 50 个训练周期收敛，比 DDQN 提前 100 个训练周期收敛，表明 ST Score 指导显著加速了学习过程。
• ST-DDGN 在预测需求与实际车辆容量分布之间的弗罗贝尼乌斯范数下降最快，且达到最低值（236.8），表明其具备更优的时空对齐能力。
• 模型学会将车辆调度至高需求区域，并通过推迟部分订单以“搭便车”方式由后续订单一并服务，体现出决策中的前瞻性。
• 据估计，该框架在华为在线物流系统中全面部署后，每年可节省数百万美元的物流成本。