[论文解读] Deep Reinforcement Learning for Demand Driven Services in Logistics and Transportation Systems: A Survey

Zefang Zong, Wang, Jingwei+4 more|arXiv (Cornell University)|Aug 10, 2021

Transportation and Mobility Innovations参考文献 124被引用 7

一句话总结

本综述系统性地回顾了深度强化学习（DRL）在物流与运输领域需求驱动服务（DDS）中的应用，重点关注两个核心阶段：调度（将服务人员匹配至需求）与路径规划（优化服务顺序）。综述整合了现有DRL方法，识别关键挑战，并指出开放的研究方向，包括仿真环境与大规模在线系统。

ABSTRACT

Recent technology development brings the boom of numerous new Demand-Driven Services (DDS) into urban lives, including ridesharing, on-demand delivery, express systems and warehousing. In DDS, a service loop is an elemental structure, including its service worker, the service providers and corresponding service targets. The service workers should transport either people or parcels from the providers to the target locations. Various planning tasks within DDS can thus be classified into two individual stages: 1) Dispatching, which is to form service loops from demand/supply distributions, and 2) Routing, which is to decide specific serving orders within the constructed loops. Generating high-quality strategies in both stages is important to develop DDS but faces several challenges. Meanwhile, deep reinforcement learning (DRL) has been developed rapidly in recent years. It is a powerful tool to solve these problems since DRL can learn a parametric model without relying on too many problem-based assumptions and optimize long-term effects by learning sequential decisions. In this survey, we first define DDS, then highlight common applications and important decision/control problems within. For each problem, we comprehensively introduce the existing DRL solutions. We also introduce open simulation environments for development and evaluation of DDS applications. Finally, we analyze remaining challenges and discuss further research opportunities in DRL solutions for DDS.

研究动机与目标

• 系统性地对需求驱动服务（DDS）如网约车、即时配送和仓储管理中的深度强化学习（DRL）应用进行分类与分析。
• 识别并分类DDS中的核心规划问题，分为两个阶段：调度（将需求与可用服务人员匹配）与路径规划（优化服务序列）。
• 总结基于DRL的调度与路径规划解决方案，突出模型架构、奖励设计与训练策略。
• 评估并比较现有开源DDS仿真环境，识别其在真实感与可扩展性方面的不足。
• 概述当前挑战与未来研究方向，包括定价、调度与路径规划的联合优化，以及大规模在线DRL系统的发展。

提出的方法

• 将DDS划分为不同场景（如即时配送、网约车、快递、仓储等），并定义DDS循环结构作为基础框架。
• 将规划任务划分为两个阶段：调度（订单匹配）与路径规划（序列与路径优化），其根源可追溯至二分图匹配与车辆路径问题（VRP）。
• 回顾基于DRL的调度方法，涵盖值函数方法（如DQN）、策略梯度方法（如PPO）以及演员-critic方法，通常结合注意力机制与图神经网络。
• 分析基于DRL的路径规划解决方案，用于规划最优访问序列与真实路径选择，整合动态交通信息与实时更新。
• 评估现有DDS仿真环境，识别其在建模随机订单取消、司机偏好与实时交通动态方面的局限性。
• 提出需要开发更具真实性、可扩展性与模块化的仿真平台，以支持DRL的稳健训练与评估。

Figure 1: The visualization of two independent service loops using instant delivery as an example. The restaurant, customer, and courier serve as the service provider, service target, and service worker respectively.

实验结果

研究问题

• RQ1 深度强化学习如何有效应对需求驱动服务中调度与路径规划所面临的动态与序列决策挑战？
• RQ2 哪些关键的架构与训练组件使DRL模型能够在网约车与即时配送等多样化DDS场景中实现泛化？
• RQ3 现有DRL解决方案如何在实时多智能体环境中处理调度、路径规划与定价之间的耦合关系？
• RQ4 当前仿真环境在复现现实世界复杂性（如随机需求取消与司机行为）方面存在哪些局限性？
• RQ5 在真实物流与运输平台中大规模部署基于DRL的系统面临的主要开放挑战是什么？

主要发现

• 与传统启发式方法相比，基于DRL的调度方法在匹配效率与长期奖励优化方面取得显著提升。
• 图神经网络（GNNs）与注意力机制在DRL模型中被越来越多地用于建模调度任务中的复杂时空依赖关系。
• 当前DDS仿真环境在建模现实世界动态（如随机请求取消与司机偏好）方面存在不足，导致稳健性评估存在缺口。
• 定价、调度与路径规划的联合优化仍是重大开放挑战，原因在于这些模块之间的强耦合性，以及对可解释性、公平性与收益最大化的政策需求。
• 针对DDS的大规模在线DRL系统仍处于早期发展阶段，未来在整合异构车队、实时约束与高可扩展性方面具有巨大研究潜力。
• GitHub仓库（https://github.com/tsinghua-fib-lab/DDS_Survey）提供了针对DDS中DRL解决方案的精选、最新参考资源，是研究人员与实践者的重要工具。

Figure 2: The overview of DDS problems, including the dispatching stage and the routing stage. We demonstrate the transformation from originated mathematical formulation to industrial applications in the vertical axis, and distinguish the two different planning stages in the horizontal axis. Note th