[论文解读] MOVI: A Model-Free Approach to Dynamic Fleet Management

Takuma Oda, Carlee Joe‐Wong|arXiv (Cornell University)|Apr 13, 2018

Transportation and Mobility Innovations参考文献 14被引用 9

一句话总结

MOVI 提出了一种无需模型的深度强化学习方法，采用去中心化的深度Q网络（DQN）进行动态出租车车队调度，使每辆汽车能够独立学习最优调度策略。与无调度相比，其未服务请求减少了76%；与集中式滚动时域控制（RHC）策略相比，减少了20%，表明在真实世界的动态环境中，去中心化、快速响应的策略可超越协调性更强、基于模型的方法。

ABSTRACT

Modern vehicle fleets, e.g., for ridesharing platforms and taxi companies, can reduce passengers' waiting times by proactively dispatching vehicles to locations where pickup requests are anticipated in the future. Yet it is unclear how to best do this: optimal dispatching requires optimizing over several sources of uncertainty, including vehicles' travel times to their dispatched locations, as well as coordinating between vehicles so that they do not attempt to pick up the same passenger. While prior works have developed models for this uncertainty and used them to optimize dispatch policies, in this work we introduce a model-free approach. Specifically, we propose MOVI, a Deep Q-network (DQN)-based framework that directly learns the optimal vehicle dispatch policy. Since DQNs scale poorly with a large number of possible dispatches, we streamline our DQN training and suppose that each individual vehicle independently learns its own optimal policy, ensuring scalability at the cost of less coordination between vehicles. We then formulate a centralized receding-horizon control (RHC) policy to compare with our DQN policies. To compare these policies, we design and build MOVI as a large-scale realistic simulator based on 15 million taxi trip records that simulates policy-agnostic responses to dispatch decisions. We show that the DQN dispatch policy reduces the number of unserviced requests by 76% compared to without dispatch and 20% compared to the RHC approach, emphasizing the benefits of a model-free approach and suggesting that there is limited value to coordinating vehicle actions. This finding may help to explain the success of ridesharing platforms, for which drivers make individual decisions.

研究动机与目标

• 探究无模型、去中心化的调度方法是否能在动态车队管理中超越协调性更强、基于模型的方法。
• 评估在大规模、不确定的城市出行环境中，协调性、计算成本与性能之间的权衡。
• 设计并验证一个基于 1500 万条纽约市出租车行程记录的现实仿真框架，以在真实世界条件下评估调度策略。
• 探索强化学习在实时车队运营中实现的可行性与可扩展性，且无需依赖系统模型。

提出的方法

• MOVI 采用深度Q网络（DQN）框架，每辆车独立使用基于值函数的函数逼近方法学习其最优调度策略。
• 通过一种简化的训练方法确保每辆车的推理速度极快，实现亚100毫秒延迟的实时决策。
• 将集中式滚动时域控制（RHC）策略作为基线，通过求解大规模线性规划来协调车辆调度。
• 基于 1500 万条真实出租车行程记录构建大规模、现实的仿真器，用于模拟调度决策并评估策略性能。
• 在与 RHC 策略相同的调度周期下评估 DQN 策略（DQN*），以隔离决策速度对性能的影响。
• 输入特征包括车辆位置、一天中的时间以及预测需求，未显式建模行驶时间或未来需求。

实验结果

研究问题

• RQ1 去中心化、无模型的调度策略是否能在动态车队管理中超越集中式、基于模型的方法？
• RQ2 与滚动时域控制（RHC）策略相比，基于 DQN 的策略在未服务请求和等待时间方面的表现如何？
• RQ3 在高不确定性、实时环境中，决策速度与协调性对策略有效性的影响是什么？
• RQ4 尽管缺乏协调，个体车辆优化是否仍能带来优于全局优化的系统级结果？

主要发现

• 与无调度相比，DQN 策略将未服务请求数减少了 76%；与 RHC 策略相比，减少了 20%，表明其性能更优。
• 即使在相同调度周期下（DQN*），DQN 策略仍优于 RHC，表明决策速度与适应性是关键优势。
• DQN 策略的最低车辆利用率高于 RHC，表明车辆间的工作负载分配更均衡。
• DQN 策略的空驶巡航时间略高于 RHC，但这一劣势被显著更低的拒绝率所抵消，尤其是在高峰时段（晚上 8 点至 12 点）。
• 由于推理时间低于 100 毫秒，DQN 策略能更快适应环境变化，优于 RHC 策略的秒级至数十秒级优化速度。
• 结果表明，集中式协调的收益有限，这或许可以解释去中心化出行平台（如 Uber）的成功。