[论文解读] A Deep Reinforcement Learning Framework for Rebalancing Dockless Bike Sharing Systems

Ling Pan, Qingpeng Cai+3 more|arXiv (Cornell University)|Feb 13, 2018

Urban Transport and Accessibility参考文献 24被引用 23

一句话总结

本文提出了一种名为分层强化定价（Hierarchical Reinforcement Pricing, HRP）的深度强化学习框架，通过激励用户进行空间和时间上的自行车再分配，以实现无桩自行车共享系统的再平衡。HRP 将问题建模为马尔可夫决策过程，采用分而治之的结构，结合局部模块以捕捉空间和时间依赖性，实现了接近最优的性能——在 24 个时间片前瞻优化的 2% 以内，同时在服务水平和自行车分布稳定性方面优于当前最先进方法。

ABSTRACT

Bike sharing provides an environment-friendly way for traveling and is booming all over the world. Yet, due to the high similarity of user travel patterns, the bike imbalance problem constantly occurs, especially for dockless bike sharing systems, causing significant impact on service quality and company revenue. Thus, it has become a critical task for bike sharing systems to resolve such imbalance efficiently. In this paper, we propose a novel deep reinforcement learning framework for incentivizing users to rebalance such systems. We model the problem as a Markov decision process and take both spatial and temporal features into consideration. We develop a novel deep reinforcement learning algorithm called Hierarchical Reinforcement Pricing (HRP), which builds upon the Deep Deterministic Policy Gradient algorithm. Different from existing methods that often ignore spatial information and rely heavily on accurate prediction, HRP captures both spatial and temporal dependencies using a divide-and-conquer structure with an embedded localized module. We conduct extensive experiments to evaluate HRP, based on a dataset from Mobike, a major Chinese dockless bike sharing company. Results show that HRP performs close to the 24-timeslot look-ahead optimization, and outperforms state-of-the-art methods in both service level and bike distribution. It also transfers well when applied to unseen areas.

研究动机与目标

• 为解决无桩自行车共享系统中持续存在的自行车失衡问题，该问题会降低服务质量和运营效率。
• 开发一种可扩展、预算敏感且自适应的再平衡策略，通过经济激励利用用户行为。
• 将再平衡问题建模为包含空间和时间动态的马尔可夫决策过程。
• 设计一种深度强化学习算法，以捕捉复杂的空间-时间依赖性，而无需依赖精确的需求预测。
• 评估该框架在不同供给水平和未见过的地理区域中的性能、鲁棒性与泛化能力。

提出的方法

• HRP 被形式化为一个马尔可夫决策过程，其中状态包括各区域的自行车供给、需求以及用户到达模式。
• 动作空间由针对各区域的货币激励组成，以鼓励用户在供给不足或过剩的区域取车或还车。
• HRP 采用分层结构，包含一个全局策略和一个局部模块，用于估计 Q 值，从而提升空间依赖性的建模能力。
• 该算法基于深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG），支持连续动作输出，实现动态激励定价。
• 嵌入一个局部模块，通过聚焦于局部邻域动态来优化 Q 值估计，增强空间感知能力。
• 该框架使用上海真实 Mobike 轨迹数据进行离线训练和在线策略部署。

实验结果

研究问题

• RQ1 是否可以通过激励用户行为的深度强化学习框架，在不依赖准确需求预测的前提下，有效实现无桩自行车共享系统的再平衡？
• RQ2 与当前最先进方法相比，HRP 在服务水平和自行车分布稳定性方面的表现如何？
• RQ3 HRP 在训练于特定区域后，能在多大程度上泛化到未见过的地理区域？
• RQ4 HRP 的性能距离具有 24 个时间片前瞻视野的离线最优解有多近？
• RQ5 HRP 在不同自行车供给水平下以及长期部署中表现出怎样的鲁棒性？

主要发现

• HRP 在自行车分布上的 KL 散度为 0.548，优于所有基线方法，甚至超过 Mobike 原系统（0.554），表明分布稳定性得到改善。
• HRP 在不同供给水平下将未服务率降低了 47%–60%，表明在自行车资源有限时具有强大鲁棒性。
• 在为期 5 天的实验中，HRP 与 HRA 和 OPT-FIX 的性能差距持续扩大，表明其在长期奖励最大化方面表现更优。
• HRP 的性能距离 24 个时间片的离线最优解仅相差 2%，显著优于 HRA（仅达到 4 个时间片优化性能）。
• HRP 在未见过的区域中表现出良好泛化能力，在 80% 的测试区域中将未服务率降低了 40%–80%，且其累积分布函数始终位于 HRA 的右侧。
• HRP 中的局部模块增强了空间依赖性建模能力，从而实现更精确的 Q 值估计和更有效的激励分配。