[论文解读] Deep Reinforcement Learning for Multi-Driver Vehicle Dispatching and Repositioning Problem

John Holler, Risto Vuorio+7 more|arXiv (Cornell University)|Nov 25, 2019

Transportation and Mobility Innovations参考文献 23被引用 7

一句话总结

本文提出了一种用于多驾驶员车辆调度与再定位问题（MDVDRP）的深度强化学习框架，采用以系统为中心的智能体，通过基于注意力机制的神经网络协调司机，以优化车队整体性能。该方法在订单完成率上相较于启发式基线方法最高提升10%，且采用以司机为中心的奖励设计在真实世界数据上取得了更优结果。

ABSTRACT

Order dispatching and driver repositioning (also known as fleet management) in the face of spatially and temporally varying supply and demand are central to a ride-sharing platform marketplace. Hand-crafting heuristic solutions that account for the dynamics in these resource allocation problems is difficult, and may be better handled by an end-to-end machine learning method. Previous works have explored machine learning methods to the problem from a high-level perspective, where the learning method is responsible for either repositioning the drivers or dispatching orders, and as a further simplification, the drivers are considered independent agents maximizing their own reward functions. In this paper we present a deep reinforcement learning approach for tackling the full fleet management and dispatching problems. In addition to treating the drivers as individual agents, we consider the problem from a system-centric perspective, where a central fleet management agent is responsible for decision-making for all drivers.

研究动机与目标

• 解决在供需在空间和时间上动态变化的实时共享出行平台中，协调多个司机的复杂动态挑战。
• 开发一种端到端的基于学习的解决方案，联合优化司机调度与再定位，避免使用人工设计的启发式规则。
• 在多智能体强化学习框架中，评估以系统为中心与以司机为中心的奖励设计在车队管理中的有效性。
• 设计一种可扩展的基于注意力机制的神经网络架构，以处理大规模调度环境中可变大小的观测与动作空间。

提出的方法

• 本文将MDVDRP定义为一个新的强化学习问题，将调度与再定位建模为在动态条件下进行的序列决策过程。
• 利用注意力机制学习全局状态表示，处理司机与订单的位置信息，使模型能够关注相关的时空特征。
• 以系统为中心的智能体使用深度Q网络（DQN）和近端策略优化（PPO）来学习协调所有司机的策略，奖励基于系统级性能指标。
• 该方法采用一种新型网络架构，用逐元素运算替代输入注意力层，并省略循环解码器，从而提升效率与可扩展性。
• 模型在合成环境（历史订单与历史统计领域）和滴滴出行GAIA数据集的真实世界数据上进行训练。
• 采用并行化的PPO实现，使用10个环境，以加速大规模实例（每天超过1,000名司机与100,000个订单）的训练。

实验结果

研究问题

• RQ1 深度强化学习智能体能否在供需随时间变化的动态共享出行环境中有效协调多名司机？
• RQ2 以系统为中心的奖励设计与以司机为中心的奖励设计在性能与学习稳定性方面有何差异？
• RQ3 基于注意力机制的神经网络架构能否在大规模真实世界调度场景中处理可变大小的输入与动作？
• RQ4 端到端学习是否在订单完成率与系统效率方面优于传统启发式方法（如短视的接单距离最小化）？

主要发现

• 以司机为中心的PPO策略取得了最高的评估得分286,135 ± 1,089，显著优于以系统为中心的PPO（261,059 ± 184）和MRM-random基线（252,656 ± 280）。
• 以司机为中心的方法在真实世界数据环境中将订单完成率提升了近10%，在性能上表现出一致的优越性。
• DQN在样本效率方面优于PPO，但PPO在学习以系统为中心的奖励时更为有效，表明在训练稳定性和数据利用率之间存在权衡。
• 基于注意力机制的架构成功处理了可变大小的输入，并在大规模模拟中实现了对数千名司机与订单的有效协调。
• 将司机与订单生成参数分别降低7%和50%，创建了一个具备足够改进空间的现实环境，避免了因供应过剩导致的性能饱和。
• 实证结果证实，基于学习的策略始终优于短视的调度与再定位策略，尤其在动态且不确定的需求条件下表现更优。