[论文解读] Deep Q-Learning for Same-Day Delivery with a Heterogeneous Fleet of Vehicles and Drones.

Xinwei Chen, Marlin W. Ulmer+1 more|arXiv (Cornell University)|Oct 25, 2019

Transportation and Mobility Innovations被引用 13

一句话总结

本文提出一种深度Q-learning框架，用于优化使用异构车辆与无人机的当日配送，动态决定是否将每个新请求分配给无人机、车辆或拒绝。该方法利用分析特征选择，在计算实验中优于基准策略。

ABSTRACT

In this paper, we consider same-day delivery with a heterogeneous fleet of vehicles and drones. Customers make delivery requests over the course of the day and the dispatcher dynamically dispatches vehicles and drones to deliver the goods to customers before their delivery deadline. Vehicles can deliver multiple packages in one route but travel relatively slowly due to the urban traffic. Drones travel faster, but they have limited capacity and require charging or battery swaps. To exploit the different strengths of the fleets, we propose a deep Q-learning approach. Our method learns the value of assigning a new customer to either drones or vehicles as well as the option to not offer service at all. To aid feature selection, we present an analytical analysis that demonstrates the role that different types of information have on the value function and decision making. In a systematic computational analysis, we show the superiority of our policy compared to benchmark policies and the effectiveness of our deep Q-learning approach.

研究动机与目标

• 解决使用慢速、大容量车辆与快速、小容量无人机混合车队的动态当日配送挑战。
• 开发一种实时调度策略，决定是否将新配送请求分配给无人机、车辆或拒绝。
• 通过利用无人机与车辆的互补优势，提升配送成功率并减少配送时间。
• 设计一种强化学习框架，有效应对时间约束下动态配送决策的复杂性。

提出的方法

• 采用深度Q-learning学习将新配送请求最优分配给无人机、车辆或拒绝的行动策略。
• 设计一个包含时间敏感特征（如配送截止时间、车辆/无人机当前位置及剩余容量）的价值函数。
• 利用分析洞察指导特征选择，确保状态表示捕捉关键决策相关信息。
• 使用经验回放与目标网络训练深度Q网络，以在动态、连续的配送环境中稳定学习。
• 在状态空间与动作空间中建模无人机的约束（如有限航程、电池限制、需充电或更换电池）与车辆的约束（如交通状况、多站点路径规划）。
• 集成一种动态调度机制，随全天新请求的到达重新评估任务分配。

实验结果

研究问题

• RQ1 在当日配送场景中，深度Q-learning在动态分配异构无人机与车辆车队的配送请求方面效果如何？
• RQ2 配送状态的哪些特征对价值函数和决策准确性影响最大？
• RQ3 所提出的策略在配送成功率与准时性方面相较于基线调度策略表现如何？
• RQ4 拒绝不可行配送请求对整体系统性能有何影响？

主要发现

• 所提出的深度Q-learning策略在配送成功率与准时性方面显著优于基准调度策略。
• 分析特征选择提升了模型在动态条件下泛化与准确决策的能力。
• 该方法有效平衡了快速无人机与较慢但容量更高的车辆的使用，降低了平均配送时间。
• 当服务无法在截止时间前完成时，策略学会拒绝不可行的配送请求，从而提升系统效率。
• 深度Q-learning方法在处理实时、时间约束的配送决策方面表现出强鲁棒性与可扩展性。
• 计算实验证实，所提方法在性能上优于基于规则与启发式方法的替代方案。